统计里那些「用户」其实是爬虫：目录站的埋点口径该怎么定

目录站的流量来源杂：搜索引擎、外链、直接访问、还有相当比例的脚本和爬虫。这些混在同一个"访问量"里，最后谁也说不清真实用户有多少。

更麻烦的是几个系统给出的数字天然对不上。统计工具只看执行了 JS 的请求，日志看所有请求，Search Console 只算它自己的抓取。三个数字差 30% 是常态，不是哪个坏了。

图片来源：网络，版权归原作者所有，侵权请联系删除

先把口径写下来

指标	常见定义分歧	建议口径
UV	按 IP、按 cookie、按设备还是按登录用户	按 cookie 或设备，IP 单独列
PV	单页应用里路由切换算不算	算，但要单独标记
跳出	停留 10 秒算不算跳出	定义成"无二次行为"，别用时间
来源	跳转页 go.php 会不会丢来源	跳转时带上来源参数

写下来这件事本身比选哪个定义重要。口径文档放在团队能看到的地方，加新埋点的人照着填，半年后回头看数据才连得上。

爬虫该不该从统计里剔除

分场景。看用户行为时应该剔除，看抓取行为时不但不能剔除，还得单独放大看。

统计工具里剔除爬虫的手段有限，主流做法是维护 UA 关键词表。这个办法漏得厉害：冒名的用真 UA，正牌的偶尔换个 UA 来。真要准确，在日志侧做，用反向 DNS 加正向确认那一套（Googlebot 的主机名以 googlebot.com 或 google.com 结尾，Bingbot 以 search.msn.com 结尾），或者比对官方发布的 IP 段清单。

实践上我会做两套视图：统计工具里只做粗略过滤，用来看趋势；日志分析里做严格验证，用来回答"谷歌到底爬了多少页、爬了哪些"这类问题。两边别互相校正，各看各的。

目录站常踩的三个坑

第一个是 JS 埋点被拦截。装了广告拦截插件的用户不执行统计脚本，目录站的访客里技术人员比例高，被拦掉的比例明显高于一般站点。所以前端埋点和后端日志的差额，在这个品类上会大得离谱。

第二个是跳转页。出站走 go.php 的站，如果用户点了外链又返回，回来那一跳的来源往往变成站内的跳转页，真实来源丢了。解决办法是跳转前把来源写进参数，回来时还原。

第三个是图片热链。别人把你的缩略图嵌到他的页面上，请求打到你服务器，日志里是一次访问，实际没有一个真人来过。这类请求按 URL 后缀过滤掉，不然缩略图多的条目数据全是虚的。

别拿统计数字当收录依据

最常见的误判是用统计里的"来自搜索引擎的访问量"推断收录情况。这两件事中间隔了排名、点击率、还有统计脚本执没执行。想知道收录多少，去 Search Console 的页面索引报告；想知道蜘蛛来没来，去翻日志。

日志那几十个字段怎么读、哪几个对得上号，在服务器日志怎么读里拆过一遍。

数据口径这事没有标准答案，只有"全站一致"这一个要求。一致了，数字高低无所谓，趋势是对的就能用；不一致，数字再漂亮也是三个人各说各话。