对搜索引擎说不——robots禁止抓取和页面无索引标记的反直觉用法和隐藏风险

robots禁止抓取文件和页面的noindex标记是两个在SEO中被认为很基础的操作。但在实际使用中这两个工具的反直觉陷阱比大多数教程中描述的要多。第一个陷阱是在robots中禁止了对站点内某个核心目录的抓取之后，搜索引擎爬虫在无法访问该目录时会推断该目录中的链接指向的外部站点的关系——禁止抓取并没有让这些链接从搜索引擎的评估中消失。第二个陷阱是noindex标记和robots文件的不一致性冲突。

VP导航（vpis.cn）收录审核中如果一个站点在robots文件中禁止了搜索引擎对主要内容区域的抓取，这会被审核系统标记为站点的搜索优化意愿不足。