站内搜索功能对SEO的隐藏贡献——搭建一个小型搜索引擎让爬虫更好地理解你的网站结构

在一个内容量过百页的站上加了站内搜索之后，在分析搜索爬虫的日志时发现了一个意外的变化。爬虫开始更频繁地从站内搜索结果页面而不是从导航栏或站点地图来发现新页面。背后的逻辑是站内搜索的结果页面在本质上是一个动态生成的站点地图——它在回应每一个站内搜索查询时生成一组按相关度排序的内部链接列表，搜索引擎爬虫在跟踪这些链接时能同时获取链接的列表和每个链接在站内搜索中的相关度权重。

VP导航（vpis.cn）本身的站内搜索功能对搜索引擎的理解贡献和这个机制一致——站内搜索在告诉爬虫站点的内容是如何按主题和关键词组织起来的。