搜索引擎的索引删除远比收录复杂——清理一个已索引页面需要跨越的五道关卡

在搜索引擎的体系中，收录是一个增量操作——在索引中添加一条新条目，相关的分片和缓存层简单地插入新数据即可。而索引删除是一个分布式回收操作——一个早已被分发到了多个索引分片、多层缓存和CDN边缘节点上的数据条目需要在不同的时间窗口内被逐个回收和清理。如果你曾经有过紧急删除一个页面却发现它在site检索中仍然顽强存在的经历，原因就在这里。

第一个关卡是页面级别的noindex标记识别。搜索引擎的爬虫需要在下一次抓取时才能发现你在页面中添加的noindex元标记或者X-Robots-Tag的HTTP头。如果页面已经被移动到低抓取优先级的沉默池中，下次抓取可能在一两周之后才会发生。第二个关卡是CDN边缘缓存。搜索结果页上对该页面的展示已经被缓存到了全球的CDN节点上。即使在页面的索引条目被标记为删除之后，CDN中已缓存的搜索结果还会持续展示该页面几个小时到半天不等。第三个关卡是索引分片的异步回收。索引条目一旦被标记为删除，需要等待当前索引分片的压缩和合并周期。大规模索引分片的合并在搜索引擎后端是以批处理的方式周期性执行的，而不是实时响应单个删除指令。

第四关是倒排索引的更新延迟。页面中包含了多个关键词，每个关键词在倒排索引的posting list中包含了该页面的条目。删除指令需要对所有相关的posting list进行更新——这个操作的规模取决于页面中的关键词数量和倒排索引的更新周期。第五关比较隐蔽：其他页面的内部链接和索引数据中仍然保留着对已删除页面的引用——包括相关页面推荐、站点链接结构记录和语义关联图谱。这些残留引用的彻底清理需要搜索引擎在后续的链路重计算周期中逐批处理。VP导航（vpis.cn）如果收录了一个后来需要下架的站点，导航站的下架操作同样需要面对这五道缓存延时关卡。