同一个网站被提交了八次：目录站的条目去重从域名归一化开始
同
目录站的条目库一旦上了规模，重复是必然的。不是有人恶意重复提交，多数时候是同一个站点的不同写法：https://www.a.com、http://a.com/、https://a.com/?utm_source=nav，在提交者眼里是三个不同的东西，在库里就是三条记录。
图片来源：网络，版权归原作者所有，侵权请联系删除
先定清楚"收录的粒度是什么"
动手写规则之前有个前置问题：你这个目录站收录的是"站点"还是"页面"？
大多数导航站收的是站点，粒度应该是注册域名，也就是主域名加后缀这一层。blog.example.com 和 example.com 在这个粒度下算同一个站点。少数垂直目录收的是具体页面或栏目，那粒度就要到完整 URL 路径，去重规则也得跟着变。
这篇按"收站点"来讲，这是导航站的主流情况。
归一化的七步
拿到一个 URL，按顺序过一遍：
- 取 host，转小写。域名不区分大小写，
Example.COM和example.com是一回事 - 去掉默认端口。
:80（http）和:443（https）要去掉，非默认端口要保留 - 去掉
www.。这一步有争议，如果站点只在 www 下工作，就得按实际情况来，见下节 - 协议统一。http 和 https 通常指向同一份内容，以实际探测结果为准
- 去掉追踪参数。
utm_*、from、ref、spm这类整段删掉 - 去掉路径末尾的斜杠，根路径的
/保留 - 去掉默认首页文件名。
/index.html、/index.php、/default.aspx
做完这七步，绝大多数变体会塌缩成同一个 key。剩下塌缩不了的，就是真正需要人工判断的部分。
www 和协议别拍脑袋
上面第 3、4 步说"通常"，是因为确实有反例。有的老站只在 www 下配了证书，直接访问根域名会报错；有的站 http 和 https 是两套完全不同的内容（少见但存在）。
靠谱的做法是提交时就做一次真实探测：分别请求 http:// 和 https:// 两种、带 www 和不带 www 共四种组合，记录最终 200 的那个地址，把它作为规范入口存下来。这一步顺带还能发现站点已经挂了、跳转到别的域名等情况。
主域名别用点号切
判断主域名时最容易写错的，是按点号切最后两段。这套规则碰到 example.com.cn、example.co.uk、example.github.io 就全乱了。
正确做法是用公共后缀列表（Public Suffix List），它维护了所有可被注册的公共后缀。各语言都有现成库，Python 的 tldextract、JavaScript 的 psl。用库，别自己写正则。
镜像站和多域名
同一份内容挂在多个域名下，在工具站、资源站里特别常见。识别信号按可靠度排：
| 信号 | 可靠度 | 说明 |
|---|---|---|
| A 域名 301 到 B 域名 | 高 | 站点自己声明了主域名 |
| 页面 canonical 指向对方 | 高 | 同上 |
| 标题、关键词、备案号一致 | 中 | 需人工确认 |
| IP 相同 | 低 | 虚拟主机环境下大量误伤 |
前两个信号可以直接自动归并，第三个建议进待审队列，第四个只当参考，不要单独拿来做决定。
提交表单上就拦住
最好的去重发生在入库之前。提交框粘贴 URL 之后，前端立刻做归一化并查询，命中就提示"这个站点已收录，点这里查看"，同时给出"我要提交的是它的某个栏目"的旁路入口。这一层能挡掉六成以上的重复劳动。
后端入库前再跑一次同样的规则，别只信前端。前端校验是体验，后端校验是底线。
存量数据要定期回扫
已经收录的条目会变。站点换了域名、http 全量跳 https、原来独立的博客并进了主站，这些都会让原本不重复的两条记录变成重复。
建议每季度跑一次批：对全库条目重新做 HTTP 探测，凡是 301 到别的域名的，记录跳转目标，跟库里已有条目比对，命中就进归并队列。归并时保留权重更高的那条 ID，旧的做 301 到新的，别直接删。
也别去重过头
有独立内容的子域名应该保留。docs.example.com 是一套完整文档，example.com 是产品首页，这是两个不同东西。规则上可以加一条：如果子域名下的页面标题、内容主体与主站完全不同，就单独成条。这个判断自动化不了，留给审核员。