网站爬虫预算优化

优化爬虫预算分配，提高重要页面的抓取效率。

什么是爬虫预算：搜索引擎分配给网站的抓取资源。

预算浪费：低质量页面消耗抓取预算。

优化策略：阻止不重要页面、引导爬虫到重要页面。

性能影响：服务器性能影响爬虫抓取效率。