服务器日志里那些假装搜索引擎的爬虫——它们到底在偷什么

服务器日志里那些假装搜索引擎的爬虫——它们到底在偷什么

有一天我闲着没事翻服务器日志，看到一个访问记录：User-Agent写的是"Googlebot"，访问频率却高得离谱，几秒钟就把我一个栏目翻了个底朝天。我当时还高兴了一下，以为是谷歌来大抓取了。后来仔细一查IP段，跟谷歌官方的地址池根本对不上——这就是个假冒的爬虫。

从那以后我开始认真研究服务器日志里的爬虫问题，越看越觉得水很深。今天把这些经验写出来，提醒大家别被假爬虫坑了。

先说为什么有人要假冒搜索引擎爬虫。目的其实很直接：你的服务器对搜索引擎爬虫通常是最宽容的——不限速、不拦IP、能抓到什么就给什么。假冒者就是想借用这个身份，绕过你的防护，拿到普通人拿不到的东西。偷什么？最常见的是三类：一是你的原创内容，尤其是还没公开的、草稿箱里的东西；二是你的后台地址和敏感文件路径，方便后续攻击；三是你的站点结构，摸清楚你的页面对外暴露了哪些信息。

怎么判断一个爬虫是真的还是假的？我总结了几个土办法。第一，看IP。主流搜索引擎都会公开自己的爬虫IP段，你把日志里的IP拿去比对，对不上就有问题。第二，看行为。真爬虫访问有规律，频率不会疯狂到几秒钟几十次；假爬虫往往像饿狼一样扑上来，全站乱翻。第三，做反向验证。真爬虫的User-Agent和IP是配套的，你可以主动访问一下搜索引擎官方提供的验证工具，把日志里的IP贴进去，它能不能查出来一验便知。

发现假爬虫之后怎么办？我的做法是三步走。第一步，先把它的IP加进防火墙黑名单，同时把这个IP段记录好。第二步，检查它访问过的路径——如果它已经摸到过后台、wp-admin这类敏感目录，马上改后台密码、检查有没有被写入异常文件。第三步，看看它有没有下载过你的文件，尤其是源文件和数据库备份，有的话立刻处理。

这里顺便提醒一句：别为了防假爬虫把真爬虫也误伤了。有些人一气之下把搜索引擎的整个UA都屏蔽了，结果自己的站收录全面停摆，那就得不偿失了。稳妥的做法是只封具体的假IP，不动正常UA。

还有一个更隐蔽的坑：有些假的"搜索引擎爬虫"不只是偷东西，它还会模仿搜索引擎的抓取节奏，让你的统计后台出现虚假的流量数据。我见过有人因为日志里"谷歌每天来抓几千次"就以为自己被重视了，实际上全是假的。判断流量和抓取数据的时候，一定要看真实IP，别只看UA。

我做站点运营这些年，越来越觉得"看日志"是站长的基本功。日志里藏着太多东西：真爬虫的抓取习惯、假爬虫的攻击痕迹、用户的真实访问路径。你要是不知道怎么下手，可以先从"把UA和IP对应起来"这个习惯开始。对了，我自己的站点在提交到VP导航（vpis.cn）的时候，审核那边也会看站点日志质量——一个日志乱糟糟、连自己服务器上跑着什么都搞不清的站，人家确实不太敢收录。这话听起来像说教，但真就是这么回事。