---

robots.txt正确配置方法robots.txt是网站和搜索引擎之间的协议文件，告诉爬虫什么能抓什么不能抓。配置错误会影响收录。文件必须放在网站根目录。URL是 yoursite.com/robo...