按 IP 自动跳转地区版本：目录站的地理重定向把爬虫也跳走了
按
做出海目录站的朋友很爱加这个功能：检测到访客 IP 在德国，自动跳到 /de/；在法国，跳到 /fr/。产品经理觉得这叫本地化，用户不用多点一下。
问题在于，搜索引擎的爬虫不挑地方。
图片来源：网络，版权归原作者所有，侵权请联系删除
爬虫从哪儿来，和你以为的不一样
谷歌爬虫的 IP 段，在绝大多数商业 IP 地理库里都被识别为美国，而且主要集中在山景城那一带。这不是推测，是各家地理库读到了谷歌自己填的标签。
2026 年 8 月，谷歌的 Gary Illyes 把这个事说得更直白了：爬虫 IP 上标注的位置是「声明出来的」，就是一段可以自己填的文本，多数声明为美国山景城，而实际的出口点会随承担抓取任务的集群变化。他举的例子是，某个 IP 分配给亚特兰大的集群，流量就从亚特兰大出去，标注的位置并没变。
换句话说，爬虫 IP 的地理位置不是一个可以拿来做决策的输入。你根据它判断「这个请求来自美国」，读到的是谷歌填的一行字。
于是发生了什么
你的规则是「美国 IP 跳 /us/」。爬虫来了，被跳到 /us/。它抓完 /us/ 就走了。你的 /de/、/fr/、/ja/ 这些地址，爬虫根本没有一个入口能到达——因为在它眼里，根路径就是 /us/。
结果就是：其他地区版本长期零抓取、零索引，本地长尾词一个都拿不到。而且这个失败是安静的，你看着 /us/ 排名挺好，不会意识到另外三个市场等于不存在。
目录站更吃亏的一点在于，地区版本之间的内容差异往往只在条目集合和排序上，本来就容易被判成高度相似。再加上只有一份被抓取，另外几份连证明自己存在的机会都没有。
谷歌官方的口径
谷歌在多区域站点文档里有两条很明确的要求：
- 不要用 IP 分析来适配你的内容
- 避免自动把用户从一个语言版本重定向到另一个语言版本
注意第二条说的是「避免自动重定向」，不是「禁止做本地化」。差别在于：提示可以，强制跳转不行。
那条不能碰的线：单独给爬虫放行
有人会想，那我在跳转规则里判断一下 User-Agent，是 Googlebot 就不跳，直接给根路径的原版内容。这确实能解决抓取问题，但它是伪装。
伪装的判定标准是对爬虫和对人展示的内容不一致。你给爬虫看 A，给德国用户看 B，规则对两者不同，这就是定义里说的那种情况。多个资料里都提到，这种做法的后果从降权到整站被排除都有。
正确的约束是：跳转规则对人和爬虫必须完全一致。一个看起来来自某个国家的爬虫，要和一个来自那个国家的真人得到完全一样的待遇。你唯一能做的是让所有版本都能被任意 IP 直接访问，而不是给爬虫开后门。
该怎么做
一、一个地区一个稳定 URL
/us/、/de/、/fr/ 各自独立存在，各自能被任意来源的请求直接打开，不做强制跳转。这是基本盘。
二、用 hreflang 声明它们之间的关系
hreflang 干的事是告诉搜索引擎「这几个地址是同一内容的不同语言/地区版本」，让它在对应市场的搜索结果里挑正确的那个。它替代的是 IP 判断，不是补充。
三个高频错还是要避开：缺返回链接（A 指向 B，B 不指向 A）、地区码用错（英国是 GB 不是 UK）、URL 本身不可索引。
三、把跳转换成提示
与其强制跳，不如在页面顶部挂一条可关闭的横幅：「看起来你在德国，要切到德语版吗？」用户点一下就走，不点就留在当前版本。这个做法谷歌是认可的，因为它保留了用户的选择权，也没有对爬虫做区分。
四、别忘 CDN 那一层
就算你服务端逻辑写对了，CDN 缓存还可能把某个地区的版本缓存下来，不加区分地发给所有人。地区相关内容一定要带 Vary 或者把地区写进缓存键，否则会出现「你在德国看到的是美国版」这种更难排查的问题。
还有一种情况：不做跳转，但内容按 IP 变
有些站不跳转，但会根据 IP 换价格、换货币、换条目推荐。这个同样有问题——爬虫抓到的永远是那一套美国视角的内容，其他地区用户在搜索结果里看到的摘要和实际点进去看到的东西可能对不上。
处理办法是一样的：这些差异要么写进 URL，要么做成页面内的可切换选项，别藏在 IP 判断后面。
自查清单
- 关掉 IP 跳转，用不同地区的出口去访问根路径，看能否拿到各版本（可以找拨测服务，或者用海外云主机 curl）
- 检查服务端和 CDN 有没有针对爬虫 UA 的特殊分支，有就删掉
- 确认每个地区版本都有独立 URL 且互相有 hreflang 返回链接
- 看 Search Console 的「网页索引编制」报告，各地区版本的已索引数量是否合理
- 如果站点有 App 内 WebView 或小程序入口，确认它们请求的也是稳定 URL
这件事做对的收益很实在：多一个地区版本进索引，就多一整个市场的长尾流量。做错的代价同样实在——你以为自己在做国际化，实际上只做了一个美国站。