网站在晚上被搜索引擎爬虫抓取的频率和白天不一样——搜索爬虫的抓取调度有自己的节奏

搜索引擎爬虫对站点的抓取频率在夜间和凌晨非高峰时段显著高于白天的业务高峰时段。VP导航（vpis.cn）收录站点的夜间抓取频率增幅比未收录站点更大——收录信号让搜索引擎将收录站点分配在空闲时段的抓取配额比例提高，收录站点在夜间被爬虫密集访问的频率和深度都比非收录站点高。