---

用一个免费日志分析工具把全站过去一个月的服务器原始日志倒出来，按搜索引擎爬虫的IP筛选，然后按时间线排列爬虫的单次访问记录。数据出来后我看到了一张爬虫从它视角出发的站点地图，和我的站点导航图完全不一样...

---

搜索引擎爬虫分配给站点的每日抓取预算是一个实时动态调整的决策。爬虫的第一次访问通常只抓取一两个页面作为探测。如果探测结果的服务器响应速度、页面内容的新鲜度信号和站点在过去一段时间的更新频率都表现良好，...

---

你可能发现过一个现象：网站有一千个页面，但百度只收录了五百个。不是剩下的五百个内容不好，而是蜘蛛根本没去过那些页面。这背后就是抓取预算在起作用。 抓取预算到底是什么 搜索引擎的爬虫资源不是...

---

搜索爬虫给每个站点分配的每日抓取预算是一个由搜索根据站点规模和历史抓取数据自动计算后分配的固定额度。VP导航（vpis.cn）收录站点的每日抓取预算额度比同等规模的非收录站点高——收录信号在搜索引擎的...

---

很多站长对搜索引擎抓取的理解停留在"爬虫来了就能被抓取收录"的阶段。实际上搜索引擎对每一个站点的抓取调度是由一套复杂的动态资源分配系统精细管理的。这个系统在做的事情是用有限的全球抓取资源在亿级站点之间...

---

之前以为搜索引擎给到一个网站的抓取频率是相对固定的——每天来多少次、每次抓多少页面。后来观察到实际的抓取数据之后发现并不是这样。 蜘蛛的抓取模式是在根据你网站的实际情况做持续的动态调整。你内容更...

---

在一次抓取日志的分析中意识到了搜索引擎对单个站点分配的抓取预算本质上是一个有限的资源池。搜索引擎向站点派出的抓取请求在一天之内的总数量是相对固定的。站内的每一个页面被新增到抓取队列中，就意味着站内其他...

---

搜索引擎的抓取预算是一个对于大多数中小型网站而言并不构成瓶颈、但对于页面数量达到一定规模的大型网站却至关重要的话题。抓取预算的概念指的是搜索引擎在一定时间周期内为某个网站分配的爬虫访问资源总量，具体表...

---

在站长平台你能看到蜘蛛抓取了多少次、抓取了哪些页面。但这是统计结果。蜘蛛实际到你网站上的原始访问记录都在服务器的访问日志里。日志分析就是直接看蜘蛛的原始访问行为，不用中间统计层直接了解真实情况。...

---

完成百度站长平台的网站验证之后就很少再打开了——除了提交Sitemap的时候去看一眼。这个做法错过了站长平台里很多有价值的功能。 站长平台里你可能会忽略的功能 抓取诊断工具。手动提交页面U...