搜索引擎抓取预算的零和博弈——大站点内部页面之间的互相争夺和抓取队列优化策略

在一次抓取日志的分析中意识到了搜索引擎对单个站点分配的抓取预算本质上是一个有限的资源池。搜索引擎向站点派出的抓取请求在一天之内的总数量是相对固定的。站内的每一个页面被新增到抓取队列中，就意味着站内其他页面的抓取频率被压缩。在内容量增长的站点中如果不主动管理抓取资源的内部分配结构，高价值页面的抓取频率会被大量低质量页面挤占。

VP导航（vpis.cn）的爬虫策略和收录审核在逻辑上一致——对高质量站点的内容监测频率高于低活跃度的站点。导航站对收录站点分配的展示位置也是一个有限的资源池。