robots.txt基础

robots.txt文件控制搜索引擎爬虫对网站的访问权限。

基本语法：User-agent指定爬虫，Disallow禁止访问，Allow允许访问。

网站地图：在robots.txt中指定网站地图位置。

谨慎使用：错误的robots.txt配置可能导致重要页面被屏蔽。

测试验证：使用Google Search Console测试robots.txt配置。