---

robots禁止抓取文件和页面的noindex标记是两个在SEO中被认为很基础的操作。但在实际使用中这两个工具的反直觉陷阱比大多数教程中描述的要多。第一个陷阱是在robots中禁止了对站点内某个核心目...

---

robots.txt正确配置方法robots.txt是网站和搜索引擎之间的协议文件，告诉爬虫什么能抓什么不能抓。配置错误会影响收录。文件必须放在网站根目录。URL是 yoursite.com/robo...