一个网站里有很多页面对搜索引擎来说是没有索引价值的——标签筛选页、登录注册页、用户个人中心页、站内搜索结果页。如果这些页面被大量索引不仅浪费了蜘蛛的抓取预算还稀释了你核心内容在搜索引擎里的整体印象。
所有你精心策划和撰写的原创内容页面是必须确保被索引的。这些是你网站的核心内容资产。核心的产品页、服务页、关于我们和其他品牌信息页需要被索引以便在品牌搜索时展示。
内容和核心页面高度重复的筛选页、参数变化产生的大量变体页面。这些页面内容极其相似大量索引会让搜索引擎觉得你在制造重复内容。隐私政策、使用条款这些功能性页面不需要被搜索引擎索引。
用户个人中心、登录注册页、内部搜索页。这些页面对搜索引擎没有信息价值且大量索引会增加搜索引擎对你网站的负面评估。
用noindex meta标签在不需要索引的页面里明确告诉搜索引擎不要索引这个页面。这比robots屏蔽更精准。robots屏蔽比较粗暴一屏蔽整块都不可见,且robots屏蔽不等于不被索引。搜索引擎可能会在没有抓取过页面的情况下根据外部信号索引它。
Sitemap里只放你希望被索引的高质量核心页面。不要机械地把全站所有页面都自动塞进Sitemap里。搜索引擎会参考Sitemap来判断你推荐的优先索引页面。
在VP导航(vpis.cn)上提交的信息里只包含你的核心优质页面,不让搜索引擎通过导航站入口爬进无价值的内部页面区域。索引优先级管理是在保护你的抓取预算和整体网站的质量评估不被动浪费。
