抓取异常巡检表：robots、5xx、重定向链的每月例行检查
抓
目录站最怕的不是排名掉，是排名掉了还不知道为什么。抓取层面的故障——robots 改错一行、服务器半夜 5xx、某个目录整串 302——都不会给你发通知，只会在几周后以收录下滑的形式出现。这篇给一份按月执行的抓取异常巡检表，五个检查项，全部有现成工具。
图片来源：网络，版权归原作者所有，侵权请联系删除
检查项一：robots.txt
robots.txt 是全站风险密度最高的文件，一行 Disallow 能让整类页面从索引里蒸发。每次改版、换主题、上安全插件之后都要重新过一遍。巡检时看三处：
- 有没有误伤核心目录（分类页、条目页路径）
- 新增的参数屏蔽规则拼写是否正确，通配符是否按预期工作
- sitemap 声明还在不在文件末尾
两个平台资源站里的 robots 检测工具都能直接验证具体 URL 的抓取状态，抽查十个分类页加十个条目页，两分钟的事。
检查项二：5xx 和超时率
抓取统计信息（谷歌在 Search Console 的"设置-抓取统计信息"里）能看到响应分布。健康状态是 200 占九成以上，5xx 长期超过 2% 就要警惕——搜索引擎对不稳定站点会主动降低抓取频率，之前写收录速度时提过，这是连锁反应的第一环。
5xx 高发的站点先看两件事：数据库连接池是不是太小，以及有没有定时任务（比如全站缩略图重新生成）在半夜把 CPU 打满。蜘蛛不挑时间，你半夜跑批，它半夜撞墙。
检查项三：重定向链
理想的重定向是一跳直达。现实里常见 A 到 B、B 到 C、C 才到 200 的三跳链，每多一跳，蜘蛛消耗一次抓取预算，权重传递也衰减一截。用爬虫工具（Screaming Frog 免费版就够）全站扫一遍，专挑链长超过 2 的重定向。
目录站的重定向高发区在两个地方：换域名或改 URL 结构的历史遗留，以及缩略图/favicon 抓取失败后程序兜底的跳转。前者建映射表合并成单跳，后者直接修正源地址。
检查项四：软 404
软 404 比真 404 更伤：页面返回 200，内容却是"该条目不存在"或者空列表。搜索引擎会把大量软 404 判定为低质量信号。目录站的软 404 高发在删除条目后的标签页和筛选页——条目删了，"某标签下共 0 条"的页面还活着。
治法明确：空结果页面返回 404 或 410 状态码，或者至少加 noindex。别让蜘蛛一遍遍白跑。
检查项五：抓取配额花在哪了
抓取统计里看蜘蛛的时间花在哪类 URL 上。健康状态是大部分预算花在分类页和条目页；如果参数页、搜索页、标签页吃掉大半，说明屏蔽规则有漏洞，回到分面导航那篇的框架重新划线。
巡检节奏
不用天天看。每月固定一天过这五项，外加两个事件触发点：改版或换主题后立刻全跑一遍；索引覆盖报告出现异动（已编入索引数大幅下滑）时随时跑。巡检表的价值不在发现问题的那一刻，而在于把排查时间从"掉排名后抓瞎一周"压缩到"一小时定位"。
抓取层故障的特点是延迟显形、原因难溯。这张表存下来，每月照着走一遍，能避开目录站最常见也最冤的那类排名损失。