目录站冷启动的一千个条目从哪来：数据源、清洗与合法性边界

一个空的目录站，用户进来什么都搜不到，搜索引擎也没什么可抓。冷启动阶段的核心任务就是把第一批条目铺上去，同时别把垃圾和风险一起铺进去。

图片来源：网络，版权归原作者所有，侵权请联系删除

四类数据源，各有各的坑

来源	优点	问题
历史开放目录的存档数据	量大、有分类	年代久远，大量站点已失效
百科、政府与机构开放数据	权威、结构好	覆盖面窄，偏机构不偏实用站点
第三方 API 与公开榜单	结构规范、可定期更新	要看授权条款，有的禁止转存
人工收集 + 用户提交	质量最高	慢，冷启动阶段等不起

实际做法通常是混合的：用前三类把骨架搭起来，再用人工和用户提交补质量。纯靠批量导入的目录站，条目质量一定拉胯。

导入前必须过的清洗流水线

批量数据拿来直接用是不行的，至少要过这几道：

• 去重。按域名归一化之后去重——带 www 和不带、http 和 https、带不带末尾斜杠，得先收敛成同一个标识，再去重。这一步能砍掉相当比例的重复项
• 可达性校验。批量发 HEAD 请求，只保留返回 200 或 30x 且最终落地正常的。注意控制频率，别一秒钟打几百个请求出去
• 标题与描述规范化。批量数据的标题常常带一堆后缀、分隔符、广告词，需要统一截取和清洗。描述为空的条目先标记为待补，不要放空着上线
• 分类归并。外部数据的分类体系跟你的不一定一致，需要映射。映射不上的进"待分类"，不要硬塞进第一个看起来像的类目
• 剔除明显不合规的。违规内容、明显失效、疑似站群的，直接丢掉

清洗会损失数量。一千条原始数据清洗完剩六七百是正常的，这个损耗值得接受——留下的每条都能用，比留一千条垃圾强。

合法性：三条要守的线

第一条是抓取规矩。批量采集对方站点信息时，看对方的 robots.txt，声明了 User-Agent 就用声明的，控制频率，提供退出联系方式。这一条在很多文章里被当成道德建议，实际上它越来越接近硬性要求。

第二条是版权。条目的名称和简短描述，多数情况下创造性很低，风险不大；但如果把对方的完整介绍、原创文章整段搬过来，性质就变了。稳妥做法是描述自己写，或者用对方站点自己提供的摘要（如 meta description），并标明来源。

第三条是商标与名称。批量数据里可能混入仿冒站点——名字跟知名品牌差一个字。这类条目一旦收录，你作为平台就要承担相应的注意义务。清洗阶段加一道"名称近似知名品牌"的筛查，成本不高。

批量导入之后：别一次全放出来

这是冷启动最容易犯的错。一次性放出几千个页面，搜索引擎看到的是一个瞬间膨胀的新站，正常的反应是先观察再说，收录速度反而更慢。

更稳的做法是分批放量：

• 首批只放质量最高的 100 到 200 条，确保每条都有完整的标题、描述、分类
• 等这一批被收录（通常一两周），再放下一批
• 每批更新 sitemap 并通过主动推送提交
• 同时观察日志里蜘蛛的访问频率变化，这是最直接的反馈信号

分批的另一个好处是能及时止损——如果第一批的收录情况不理想，说明质量问题或者站点信任度问题，这时候调整比铺完几千条再改容易得多。

质量门槛要设在导入之前

与其事后清理，不如一开始就把门槛定好。建议的最低标准：

• 站点可访问，且三个月内没有长期不可用的记录
• 有实质内容，不是纯广告页、纯跳转页
• 能明确归入某个已有分类
• 标题和描述齐全，且经过人工或规则校验

达不到标准的进候选池，等满足条件了再上线。候选池本身就是个资产——它记录了你调研过但暂时没放的站点。

---

冷启动阶段慢一点没关系。第一批条目的质量，决定了这个目录站之后一年的收录表现和用户口碑。