标签聚合 · TAG STREAM

抓取路径

1 个站点本页 1 条

从日志还原蜘蛛走过的路线：目录站抓取路径分析的四个视角抓取统计告诉你被抓了多少次，日志里的路径告诉你它是怎么走的。同一个站点，一天抓三千次，可能是高效的拓扑遍历，也可能是在三千个正常