资讯文章 资讯 · NEWS
每天 500 个垃圾提交怎么挡住的:我的导航站反垃圾五层方案和 7 条自动检测规则
2026-10-20 约 3,012 字 预计阅读 8 分钟 yiyunkj
每
我这个导航站开放用户提交网址,功能上线第一天我就知道会出事——但我没想到是那种事。
2024 年 3 月,一个分类页「AI 工具」在 48 小时里从 34 条涨到 612 条。我点进去一看,混着博彩、色情、仿牌购物、卖发票的,还有一个页面在教人怎么去俄罗斯买枪。我当天就把这个分类页下线了,删数据用了大半天。
更糟的是这只是一个分类。打开后台的提交日志,我看到全站每天的提交量在 400-600 之间,其中真正有效的可能只有 30 条。也就是说我的系统每天要处理 500 个垃圾提交,处理成本包括:数据库膨胀、页面被抓取后拉低全站质量、可能的合规风险、以及最要命的——我人工审核的时间。
这篇文章讲我最后怎么把每天 500 个垃圾提交压到 40 个以内的。核心思路一句话:不要在「收到之后」做判断,要在「接收之前」就挡住大部分,并且让提交成本高于垃圾站的批量提交收益。
第一层:把「提交入口」本身变成一道门槛
最初的版本是一个简单表单:网址 + 名称 + 分类 + 描述,任何人可提交,提交即入审核队列。这个设计对正常用户很友好,对垃圾站是完美的批量工具——他们可以用脚本每小时提交 200 条。
我做的改动,按见效顺序排:
- 必须登录才能提交。这一条直接把日提交量从 520 降到 210。原理很直白:垃圾站需要的是无摩擦的批量提交,一旦要注册账号,他们的成本就上去了。这一条是我做过的最有效的单一改动,没有之一。
- 去掉「描述」必填,改成选填。有意思的反效果:描述改成选填之后,日提交量又涨了 60%。原因是有个专门做「提交任务」的站点,会在描述里塞外链骗审核员点击。改成选填后,那些描述里的外链没有价值了,那类提交就消失了。这是我第一次遇到「减少功能反而更安全」的情况。
- 提交频次限制:同一账号每天最多 3 条,每周最多 12 条。超了直接返回错误。这个阈值我调过两次,从 5 条降到 3 条,再到现在的 3 条——理由是真实用户很少一次性提交多条(我自己测过,我这种对工具狂热的用户,一周也就提交 5-8 条)。
第二层:新提交进「隔离区」,不进正式库
这是整个方案里最重要的架构改动。原来是提交 → 直接入库 → 标记待审核。现在改成:
提交 → 隔离表(staging)→ 自动检测 → 达标才进正式表
隔离表是独立的数据库表,站前台完全不读它。这样做的直接好处是:即使有 500 条垃圾提交进入隔离区,用户看到的页面依然干净,搜索引擎抓到的页面也依然干净。数据库和前台之间隔了一层,风险从「前台被污染」降级成「后台有脏数据」。
隔离期我设的是 72 小时。这期间新提交的网址对前台和爬虫都不可见。
第三层:自动检测的 7 条规则和它们的实际阈值
隔离区里的每条提交,会跑一遍下面的规则。全部参数是我自己调出来的,不是抄的:
- 域名年龄与历史。新注册的域名(WHOIS 创建时间 < 30 天)直接判为高风险。我加了 60 天的阈值,误杀率在可接受范围内。
- 域名黑名单。接入现成的域名信誉库,覆盖博彩、色情、仿冒品牌三类。这一条拦掉了我 90% 的博彩类提交。
- 外链数量。检测目标页面里指向其他域名的可点击链接数量,超过 8 个直接拒(正常工具页几乎不会有 8 个外链,但垃圾推广页标配 20-50 个)。
- 页面内容质量:抓取目标页,提取正文少于 80 个字符的直接拒。这一条专杀那种只有一张图 + 一个下载按钮的页面。
- 关键词堆砌:页面的 title + meta + h1 里同一个词出现超过 4 次,判为优化过度。
- 标题党模式:用正则匹配「日赚|X天变现|全网最|免费领取」这类词,直接进黑名单。这条规则我用得最爽。
- 已有收录:如果目标域名在搜索引擎里没有收录,直接拒。理由是导航站不该收录一个连搜索引擎都不收录的站。这一条误杀了几个刚上线的小工具站,我后来把规则放宽为「有收录 OR 域名有 ICP 备案」。
这7 条里,最有效的三条是:域名黑名单(拦掉 42%)、外链数量(拦掉 21%)、标题党正则(拦掉 16%)。三条加起来拦掉接近 80%。
剩下的进隔离区等人工审核。我的人工审核量从每天 520 条降到 90 条左右,这90 条里大部分是「不确定」而不是「明确的垃圾」,所以审核时间从每天 2 小时降到 25 分钟。

第四层:给审核通过的用户「反滥用」的激励
这一层是我做完前面几层之后才想到的。逻辑很简单:如果「提交并审核通过」这个行为对用户有价值,那用户就有动力去做得更认真,因为垃圾提交的成本也随之上升。
我的设计:
- 审核通过的提交会给提交者 +15 积分(积分能换什么另说,反正是个正反馈)
- 被拒绝的提交 -5 积分,积分低于 -30 的账号提交权限冻结,需要申诉
- 一个月内提交 20 条以上且全部通过的用户,直接进「可信提交者」名单,提交后免人工审核,7 小时内自动上线
效果超出预期。我把「免审核」这个权限开放给 23 个用户之后,这 23 个人贡献了全站 34% 的提交量,而且因为有积分激励,他们会主动去劝阻自己朋友别乱提交(我收到过两次这类留言,都是「我朋友拉了个博彩站被我拦住了」)。
另外还有个副作用:为了拿积分,有用户开始补充目标站的中文说明。这批由站点老用户写的说明,比我自己写的好得多,因为他们的措辞更接近真实用户的语言。我挑了其中 40 多条直接用在了分类页的描述区。
第五层:把「审核通过」变成稀缺资源
最后一层最简单粗暴,但效果最直接:给每个分类页设置收录上限。
规则是:每个分类页最多保留 150 条,超出之后新提交的进入排队,不自动上线,站长每周人工挑 10-15 条加入。
为什么这个上限这么重要?因为它把「无限提交」的收益变成了零。垃圾站的商业模式是「大量铺页面等被收录」,如果一个分类页最多只有 150 条且满了就不收,那铺 600 条和铺 10 条的成本是一样的 pointless。这是让「垃圾站的自动化脚本失效」的根本手段——不是拦它,是让它没有收益。
上限也带来了额外的好处:分类页不会因为条目太多变成一个巨大的低质列表页。150 条配 8 个二级分组,页面长度控制在 6000 字左右,用户体验反而变好了。
现在的实际数据与遗留问题
方案上线一年后的实测数字:
- 日均提交请求:从 520 降到 78
- 日均进入隔离区:78 条
- 自动规则拦截率:约 51%(40 条/天)
- 人工审核通过率:约 44%(20 条/天)
- 分类页污染事件:从 2024 年 3 月那次的 1次/月,降到 0 次(一年多没再出过一次博彩类上架)
- 我的日常投入:从每天 2 小时降到每天 25 分钟
遗留问题也很明确,我还没解决:
第一,账号复用。现在垃圾站开始用小号矩阵,注册时每个号只提交一条。我加了邮箱域名黑名单(拒绝 gmail.com、outlook.com、qq.com 等公共邮箱作为注册邮箱),把日提交量又压到 43 条,但这种对抗会一直升级,不可能一劳永逸。
第二,AI 生成的合规页面。现在的垃圾提交里有相当一部分是那些「用 AI 生成的无害内容站」——内容通顺、域名干净、外链不多,只是完全没有价值。这类站目前只能靠人工审核识别,一条约 40 秒。找到自动区分方法是目前我最难的一个问题。
第三,优先级倒挂。我的人工审核队列是先进先出的,所以老用户提交的优质内容可能排在垃圾提交后面。这个问题很蠢但就是一直没改,我在纠结要不要改成「可信提交者优先 + 时长加权」的混合队列。
回过头看,这套方案的核心其实不是那些规则,是三个判断:降低提交摩擦的同时引入身份成本、让内容在前台可见之前先过一道自动化、以及用配额上限消灭垃圾站的收益模型。技术手段是次要的,判断才是主要的。如果你正在做开放提交,第一件事应该是想清楚「我愿意为提交这个动作增加多少摩擦」,这个数字定了,剩下的方案自己就浮出来了。