站内搜索页要不要让搜索引擎抓：参数、noindex 与抓取浪费

目录站的搜索框是个好功能，但它生成的页面是另一回事。访客每搜一次，站内就多出一个形如 /search?keyword=xxx 的网址，内容是按某个词筛出来的站点列表。对访客这是服务，对搜索引擎这是无穷无尽的低质重复页面——同一个列表，换个词序、加个空格，又是一页。

配图由 AI 生成，仅作示意图

先看看你的搜索页有没有漏出去

用 site:你的域名 加上搜索页的路径特征查一下，比如 inurl:search。如果返回了一大堆搜索结果页的收录，说明这个问题已经发生了。这些页面挤占你的收录配额，还会稀释整站的页面质量评分——搜索引擎看到的「你的站」，一半是这种参数翻来倒去的空壳页。

两种屏蔽方式，别混着用

第一种是 robots.txt 里 Disallow 搜索路径。这告诉蜘蛛别来抓。但注意，蜘蛛没抓到页面内容，不代表它不知道这个网址存在——如果外链或站内链指向它，网址仍可能以「无摘要」的形式出现在结果里。

第二种是页面上加 noindex。这告诉蜘蛛「可以抓，但别收录」。前提是蜘蛛能抓到页面，所以它不能和 robots 屏蔽同时用在同一路径上，否则蜘蛛被挡在外面，永远看不到 noindex。

常规做法是：robots.txt 屏蔽参数路径，一劳永逸；如果搜索页已经被大量收录，就先用 noindex 让存量慢慢退场，退干净了再上 robots 屏蔽。两个阶段，别一步到位。

更大的坑在站内链接上

很多目录主题有个默认行为：访客没找到想要的站，模板就在页面底部自动生成一排「你可能想搜」的链接，直接指向搜索结果网址。这就等于你自己天天给搜索引擎递垃圾页的入口。我的处理是把模板里所有指向搜索页的链接改到真实的分类页和标签页，站内链接只应该指向你希望被收录的页面。

顺便省下来的抓取预算

屏蔽搜索页还有个附带收益：蜘蛛不再反复抓这些参数组合，抓取预算留给真正的内容页。站点规模小的时候感觉不明显，等列表页加标签页加上分页上了几千个，你会发现蜘蛛的来访次数是有数的，浪费在一处，另一处就少一次被发现的机会。

搜索功能照常保留给访客用，这只是搜索引擎视角的一次清扫。做完之后过两三周再看收录构成，搜索参数页退场，剩下的页面质量会好看很多。