标签聚合 · TAG STREAM

禁止

0 个站点本页 2 条

对搜索引擎说不——robots禁止抓取和页面无索引标记的反直觉用法和 robots禁止抓取文件和页面的noindex标记是两个在SEO中被认为很基础的操作。但在实际使用中这两个工具的反直觉陷阱比正常
robots.txt正确配置方法 robots.txt正确配置方法robots.txt是网站和搜索引擎之间的协议文件，告诉爬虫什么能抓什么不能抓。配置错误会影正常