把同行的站点地图做成一条 diff 流水线：目录站的竞品变化监控怎么搭

人工盯同行是件坚持不下去的事。第一周你还会每天打开看看，第二周就变成一周一次，一个月后彻底忘了。能长期跑下去的只有自动化的东西。

好在多数同行站点都把站点地图放在固定位置，这份文件本身就是一份现成的清单。拿它做比对，成本极低，信息量却不小。

图片来源：网络，版权归原作者所有，侵权请联系删除

流水线长什么样

四个环节，每个都能独立跑：

• 拉取——从 robots.txt 里找站点地图地址，先取索引文件，再取子文件，拼出完整 URL 列表
• 快照——每次拉取存一份，只存地址加最后修改时间，不存正文
• 比对——和上一次快照做差，产出新增、消失、时间变化三张表
• 分级——按变化的量级和位置打分，超过阈值的才推给你看

别一上来就爬正文。站点地图这一层的信噪比已经够高了，抓正文既费资源又容易越界。

四类变化，价值不一样

变化	信息量	该怎么解读
新增条目	低	他在补哪个方向，看趋势别看单条
删除条目	高	主动删说明那条不值得做
整片消失	很高	可能是分类砍了、站点出事了
时间批量刷新	中	大概率是改了模板，不是真更新

删除比新增有价值，这点是反直觉的。新增谁都会做，删掉一条意味着有人判断过它不行——这个判断比你自己试一遍便宜得多。所以告警重点放在删除上，新增做成周报里的趋势图就行。

增量抓取的三个细节

站点地图文件不小，全量拉一遍既慢又招人烦。三件事做上，流量能降一个数量级：

• 请求带上 UA 声明，写清楚你是谁、为什么抓、怎么联系
• 用 If-Modified-Since 和 ETag 做条件请求，对方没更新就返回 304，几乎不花流量
• 并发压到 1，间隔几秒，放在夜里跑

频率上一周一次足够。站点地图的变化本来就不是按小时计的，天天拉只会得到一堆没用的快照。

假设盯十个同行，每家五千条地址，一周一次，一年下来就是五百多万条记录。看着吓人，其实用「地址哈希 + 首次出现时间 + 最后出现时间」三个字段存，比每次存全量快照小得多，普通数据库完全扛得住。

哈希建议用地址本身做键，别带协议和末尾斜杠，不然同一个地址会被记成两条。

三件别做的事

• 别把对方的地址直接搬进自己的库——抄来的条目你没核过，出了问题全算你的
• 别用这个数据推断排名——站点地图里有没有，和它排得好不好是两回事
• 别把监控结果当决策——他删了不代表你该删，你的用户和他的用户未必是同一批

这套东西真正的用处不是抄，是省时间：有人替你试过了，你就别再试一遍。看明白这一点，这条流水线才算没白搭。