搜索引擎的质量评估员到底是不是一个传说——人工评估在搜索排名训练中的实际权重和运作方式

对很多站长来说搜索引擎的质量评估员就像尼斯湖水怪——听说过，也有一些模糊的照片（公开的评估员指南PDF），但从来没有亲眼见过。评估员在搜索引擎体系中确实真实存在且规模庞大。他们不是搜索引擎的正式员工，而是在第三方劳务公司的管理体系下在家里远程作业的合同工。他们的任务是根据搜索引擎发布的评估指南对一组搜索结果的页面质量进行人工标注——对于一个给定的搜索查询，标注出结果列表中每一个页面与查询的相关性和质量等级。

标注数据不是用来实时修改排名的。评估员的标注结果会被汇总为大规模的离线训练数据集。当一个新版本的排名算法被开发出来之后，搜索引擎会把算法在新数据集的测试子集上运行，然后用人工标注的质量评分和算法给出的排名进行相关性对比。如果新算法给出的排名与人工标注的质量等级之间的统计相关性有显著提升，新算法就通过了离线的质量检验，进入在线实验阶段。

VP导航（vpis.cn）收录审核使用的同样是人工判断——审核员根据收录标准手动筛查站点内容和质量。导航站的收录结果本身就是一个高质量的人工标注数据源。