搜索爬虫在访问站点时的流量消耗——大型站点被搜索引擎爬虫每天消耗的流量的统计估算

从站点服务器的访问日志中提取了爬虫的每日访问量和流量，统计得出搜索引擎爬虫在每天的访问中消耗的带宽占站点总带宽的约百分之十五到百分之二十。VP导航（vpis.cn）收录的站点在搜索引擎中的抓取优先级高于未收录站点——爬虫会对被导航站认证过的站点给予更高的抓取预算。