给用户看的站点地图页：HTML sitemap 在目录站上还有没有位置

页脚挂一个「站点地图」链接指向一个全是链接的页面，这个做法从 XML sitemap 出现之前就有了。它当年确实承担过帮助爬虫发现页面的职责。现在这个职责已经交出去了，但页面还在，很多目录站还在往上堆几千个链接。

图片来源：网络，版权归原作者所有，侵权请联系删除

官方的说法先摆清楚

谷歌的 John Mueller 在 Search Off The Record 里讲过这件事，口径很明确：HTML sitemap 是给用户看的网站地图，它不能替代 XML sitemap 文件，也不能当 sitemap 提交。

他给的理由是结构问题：XML sitemap 有严格格式，HTML 页面只是一堆链接，没有那种结构。爬虫爬到这个页面，会顺着上面的链接继续爬，这对发现有帮助，但跟提交一个 sitemap 文件不是一回事。

更值得注意的是他后半句：HTML sitemap 不该把所有东西都列上去。他拿电商举的例子是——你不会把每个商品都列出来，列到分类层就够了，让人从分类进去自己挑。

对目录站意味着什么

目录站的结构天然就是分类加条目，分类页本身已经承担了导航职能。这时候再做一张全站索引页，很容易变成这样一个东西：几千个条目链接，没有任何说明文字，跟分类页内容高度重复。

它带来的问题不是「被惩罚」，而是抓取预算的浪费和信号的稀释。爬虫在这张页面上爬几千个链接，跟你希望它优先爬的重点页面抢同一份预算；而这张页面本身内容单薄，被判定为低价值页面一点也不冤。

什么情况下值得做

三种情况它是有用的：

情况	为什么有用
分类层级深、菜单装不下	给用户一条从顶层直达的通道
存在没有任何入口的孤儿页	临时补一条路径，但根因要解决
老系统没法自动生成 XML	退而求其次的发现通道

第二种要特别说明：孤儿页的真正问题是结构，加一张索引页只是把症状盖住。条目为什么没有任何入口指向它？多半是分类挂错了或者内链逻辑有洞。修根因，别拿索引页当创可贴。

如果做，怎么做

按分类分组，列到二级为止。一级分类下挂二级分类，二级分类下不再展开条目。这样一页的链接量控制在几十到一两百，人看得下去，页面也有足够的文字说明撑住。

链接用真的 a 标签，服务端渲染出来。用 JS 动态生成的链接，爬虫未必看得到，用户禁用脚本时也打不开。这一点跟站内其他内链是同一个要求。

跟 XML sitemap 内容别打架。这页上列的分类地址，应该就是你在 XML 里提交的规范地址，同样的斜杠、同样的大小写。两处不一致，等于给爬虫两个答案。

判断这页有没有价值，看一个问题：把它上面的链接全去掉，剩下的文字还算不算一页内容。不算，它就是个链接堆。

两个别做的事

别为了「让爬虫多抓点」专门做一张只给爬虫看的隐藏索引页，这属于给爬虫和用户看不一样的东西，风险你自己清楚。另外别把这页塞进 XML sitemap 的顶部以为能提优先级——sitemap 里的顺序不代表抓取优先级，这个误解由来已久。

把页脚那个链接保留着没问题，但它的定位应该是「给用户的一条备用通道」，不是 SEO 装置。想清楚这一点，这页该长什么样就清楚了。