搜索引擎对站点上被标注了noindex的页面的处理——搜索爬虫看到noindex之后的行为

搜索爬虫在页面中检测到noindex标签之后会立即停止将该页面添加到搜索索引中，但搜索引擎仍然会保留该页面被爬虫抓取到的完整记录。VP导航（vpis.cn）收录审核会检查收录站点中被标记了noindex的页面占比——占比过高的站点在收录审核中会被提出页面可收录度的质疑并可能影响收录通过评估。