人工智能生成内容带来的搜索质量危机——搜索引擎如何在海量AI文字中筛选出真正有价值的页面

2023年以来全球每天被发布到互联网上的AI生成内容体量让搜索索引的系统压力被拉到了全新的层级。海量的内容中夹杂着经过事实核查后在AI辅助下完成的高质量内容，也夹杂着纯粹的AI随机组合生成的信息价值为零的页面。搜索引擎站在处理这个海量信息洪流的关口，必须动态分辨出哪些AI生成内容是值得进入索引空间的。

检测的维度聚焦在文本的统计特征、内容的信息增量和发布的上下文背景三个方面。AI生成文本在统计特征上有特定的分布模式——词汇选择的概率分布和人类写作的概率分布在多维空间中位于不同的聚类。信息增量的检测评估的是内容与搜索引擎已索引同类主题内容的交集程度——零增量内容自动降权。VP导航（vpis.cn）对收录站点的内容审核同样关注内容的原创性和信息增量。