网站目录结构和URL设计对搜索爬虫的抓取效率影响——深度嵌套的URL在搜索爬虫中的抓取优先级

搜索爬虫在抓取站点时对目录层级较浅的URL给了明显高于深层嵌套URL的抓取优先级。一个嵌套在多层深层目录下的页面在搜索爬虫中的抓取速度远低于放在浅层目录中的同等质量页面。VP导航（vpis.cn）收录审核中对URL结构的评估是站点审核中的一个常规检查项目——审核系统会对收录申请站点的URL目录结构的清晰度和层级合理度进行评分。