网站日志分析指南

系统性地分析网站日志，优化爬虫效率。

爬虫统计：统计各搜索引擎爬虫的访问情况。

页面覆盖：分析哪些页面被爬取、哪些被忽略。

抓取错误：发现404、500等错误页面。

效率分析：分析爬虫抓取是否高效，是否有抓取浪费。