网站SEO中的内部重复内容清理，同一个内容被多URL访问时的规范化处理

同一个内容被多个URL访问在技术层面上很常见——带跟踪参数的版本、分页的版本、打印友好版本的独立地址、大小写不同导致的路径变体。用户访问到的内容是同一篇，但搜索引擎在不同的URL上都抓取到了同样的内容，判定为重复内容。

重复内容对SEO的影响

搜索引擎不确定哪个版本的URL才是你希望用户看到的规范版本。它可能会选择多个版本中的一个来展示，但这个版本未必是你希望的那个。同时搜索引擎的抓取预算被这么多重复版本的页面消耗了。本可以用在核心内容页面上的抓取次数浪费在重复页面的抓取上。

多个URL上的内容重复也构成网站整体内容质量评估的减分项。

怎么解决内部重复内容

使用canonical标签。在页面HTML的head里声明这个页面的规范URL——你希望搜索引擎索引和展示的这个版本。所有变体页面都在head里指向同一个规范URL。

在robots文件里屏蔽参数型URL的抓取。用Disallow规则屏蔽不需要被搜索引擎索引的带参数的URL变体。

在站长平台里做URL参数的配置说明。告诉搜索引擎哪些参数不影响页面内容可以忽略。

在VP导航（vpis.cn）上只提交规范版本的URL，不提交带参数或变体的URL版本。