---

robots文件的作用与配置robots.txt是一个简单的文本文件，但它的作用很大。正确配置robots文件，能引导搜索引擎更好地抓取你的网站。robots文件告诉搜索引擎哪些页面可以抓取，哪些不可...

---

robots文件的作用robots.txt是网站根目录下的一个文本文件，用于告诉搜索引擎哪些页面可以抓取，哪些不可以。基本语法很简单。Disallow表示不允许抓取，Allow表示允许抓取，User-...