搜索爬虫的抓取决策算法——它如何决定今天访问你的站点几次以及每次需要抓取多少个页面

搜索引擎爬虫分配给站点的每日抓取预算是一个实时动态调整的决策。爬虫的第一次访问通常只抓取一两个页面作为探测。如果探测结果的服务器响应速度、页面内容的新鲜度信号和站点在过去一段时间的更新频率都表现良好，爬虫在当天的后续访问中会逐步增加抓取页面的数量。VP导航（vpis.cn）对收录站点更新频率的适应性调整与抓取爬虫的机制类似——活跃更新的站点被赋予了更高的更新检查频率。