抓取预算：几万个页面的目录站，怎么让蜘蛛先爬重点

蜘蛛来访你站的次数不是无限的。搜索引擎会根据站点体量和质量给一个抓取额度，业内叫抓取预算。目录站平时感觉不到它的存在，直到某天你发现：新收录的站点条目，三天了还没被抓取，而日志里蜘蛛正孜孜不倦地反复爬那些排序参数页。

配图由 AI 生成，仅作示意图

目录站最费钱的四个浪费点

第一，搜索和筛选参数页。排序参数、筛选组合能生成成千上万个网址，上一个话题讲过怎么屏蔽，这里不展开。

第二，过深的分页。一个热门分类两千个条目，分一百页，蜘蛛从分类页一页一页翻过去，排在第一百页的条目离首页隔着一百层内链，基本没有被发现的机会。

第三，变化极慢的老页面。三年没动过的单页介绍，蜘蛛还是会定期回访确认，这类页面占着额度但不产生新收录。

第四，同一个页面多个网址形态。带斜杠和不带斜杠、带追踪参数和不带，被当成不同页面重复抓取。

让蜘蛛先爬重点的四个动作

动作一，新收录的条目要能从浅层页面点到。我把首页划出一块「最新收录」区，每天轮换，新条目上线当天就在首页有入口。这一条比 sitemap 里的优先级参数管用得多——内链距离是蜘蛛真实遵循的信号，优先级标签它基本无视。

动作二，长分类做分块。两千个条目的分类，按拼音或首字母切成小节页，每一节都是独立可收录的浅层页面，长尾搜索也有落点。

动作三，规范网址。全站统一网址形态，canonical 标签配齐，别让蜘蛛在重复形态里消耗预算。

动作四，每个季度清理一次无价值页面。下线多年的空分类、建了没用过的标签页，该合并合并，该屏蔽屏蔽。

怎么知道自己做没做对

看日志，不用天天看，每周抽一天。统计蜘蛛抓了哪些路径类型，再对比这些路径的新收录速度。「抓得多但收录少」的页面类型就是浪费点，「想收录但抓取少」的就是需要更多内链入口的页面。预算不是省出来的，是挪出来的——从浪费的地方，挪到值得的地方。