收录的网站关停了、域名被卖了：目录站失效条目的归档和下架策略

目录站的数据是有时效的。跑上两三年回头看，总会有一批条目指向已经不存在的站点、已经打不开的页面，或者更麻烦的——域名还在，但内容完全变了。

这些条目怎么处理，需要有规则，不能靠临时拍板。处理得太激进，把有价值的档案删掉；处理得太保守，站上堆一批死链，既伤体验也伤评价。

图片来源：网络，版权归原作者所有，侵权请联系删除

先分清三种「失效」

失效不是一个状态，是三种完全不同的情况，处置方式也不同：

• 站点关停：域名无法解析，或者返回 5xx / 连接超时，站点确实没了。
• 页面移动：原来的 URL 返回 301/302，站点还在但地址变了。
• 域名易主：域名还活着，但内容变成了别的东西——常见的是变成赌博、采集站、违规内容，或者干脆被挂在出售页上。

判断顺序：先看是临时故障还是永久失效

单次的抓取失败不能作为下架依据，对方可能只是临时维护。比较稳的做法是看一段时间内的状态历史：

观察结果	判定	处置
连续 2 周返回 5xx / 超时	疑似关停	标记待观察，降权展示
连续 1 个月不可访问	基本确认关停	进入归档或下架流程
返回 301/302 到新地址	页面移动	更新条目的目标地址
返回 200 但内容明显变了	域名易主	人工复核，按内容重新定性
域名处于出售页 / 停放页	待易主	先降权观察，易主后复核

四种处置路径

路径一：更新地址

站点只是换了域名或改了 URL 结构，那最简单：把条目指向的地址更新到新地址，简介和分类保持不变。同时记下变更时间，方便下次核对。这是唯一不损失任何价值的处置方式。

路径二：保留并归档

有些站点虽然关了，但作为记录仍有价值——比如一个曾经很知名的工具站、一个有历史意义的社区。这类条目可以移到一个「归档」区，页面上明确标注「该站点已停止服务，最后可访问时间：某年某月」。

归档区的处理要点：

• 详情页保留，但明确标注停止服务的时间和归档原因
• 从默认列表、热门推荐、随机推荐里排除，避免用户点进去发现打不开
• 出链保留但加 rel="nofollow"，并且指向一个不会跳转的静态地址（比如域名本身而不是某个路径）
• 归档区整区 noindex：它服务的是查档案的人，不是搜索流量

路径三：下架并返回 410

站点确认关停、且没有归档价值的，直接下架。条目页返回 410 Gone 而不是 404——410 明确表示「这个资源永久消失了」，搜索引擎处理得更快，也能避免反复回来确认。

别忘了同步三处：把详情页从 sitemap 里移除、清理指向它的内链（首页推荐位、分类页列表、相关条目）、以及把它的条目 URL 从任何自动生成的列表里剔除。

路径四：紧急下架

这一条要单独拎出来说：域名易主之后内容变成赌博、违规、恶意软件、钓鱼的条目，必须立刻下架，不走观察流程。

原因是你的目录站仍在向这个域名导出链接。对一个导航站来说，长期指向违规站点是最严重的一类问题——它不只是「一条死链」的问题，而是你自己在给违规站点导权重。这类条目的处置不需要等一个月，发现即处理，并且要把整个域名的历史条目都排查一遍。

关于存档链接

很多人会给失效条目挂一个互联网档案馆的快照链接，让用户还能看到它以前的样子。这可以作为补充，但要注意：

• 快照链接只能作为参考信息，不能当成条目主链接。用户点条目应该去真实站点，去不了就该看到说明。
• 不是所有站点都有快照，覆盖率没那么高，别把流程建立在它上面。
• 快照内容同样是别人的，展示时要注明来源。

把规则写进日常流程

失效条目治理不该是一次性工程，而应是一套常态机制：

• 每月一次全量巡检：对所有条目的目标地址做一次 HTTP 状态检查，按上表的判定规则分流
• 状态字段入库：正常 / 待观察 / 已归档 / 已下架，每次巡检结果都记录，形成状态历史
• 自动降级：待观察状态的条目自动从推荐位和首页移除，不用人工干预
• sitemap 同步：已下架的条目必须在下一次生成 sitemap 时自动剔除
• 留存一份下架日志：什么时间、因为什么原因下架了哪条，方便复盘和应对申诉

一条打不开的条目，伤害的不只是这一次点击，还有用户对整个目录的信任。用户连续点开两个死链之后，就不会有第三次了。

最后一条：别忘了复核「复活」的条目

站点关停一段时间后复活的情况并不少见。巡检里要包含反向检查：已归档或已下架的条目，如果目标地址重新可访问且内容正常，应该允许它回到正常状态。

只是回到正常之前要走一次人工确认——确认它复活后还是原来那个站，而不是被别人捡走做成了别的什么东西。这一步省不得。