404页面没你想的那么简单——错误页面上的SEO补救和用户体验的平衡术
说个丢人的事。有次我为了清理站点结构，把一个老栏目下的几十篇文章全删了，想着反正也没流量。结果一个月后我发现，这些页面带来的长尾搜索流量原来占了全站快两成，全没了。我赶紧去翻服务器日志，发现搜索引擎爬虫还在反复来抓那些已经不存在的URL——每次抓回来都是404，抓了半个月才慢慢不来了。
图片来源：网络，版权归原作者所有，侵权请联系删除
这件事逼我把404页面从头到尾研究了一遍。今天就把我踩过的坑和总结出来的做法都写出来，给同样在折腾站点的兄弟参考。
认知一：404是你和搜索引擎的对话
404页面不只是一个"没找到"的提示页，它其实是你和搜索引擎爬虫之间的一段对话。爬虫来抓一个不存在的URL，你的服务器返回404状态码，搜索引擎就知道这个页面没了，会把对应的索引慢慢淘汰掉。但如果你返回的不是404而是200——比如有些程序把不存在的页面自动跳转到首页，或者返回一个空白页但状态码是200——搜索引擎会以为这个页面还存在，继续把它留在索引里，甚至把你的首页当成那个页面的内容。这就是很多站"删了页面搜索里却还能搜到"的原因。
所以第一件事，删掉的页面必须真真切切返回404状态码，不要用200糊弄。我见过有人为了"用户体验"把不存在的页面重定向到首页，结果首页权重被几百个僵尸URL稀释，排名一路往下掉。
认知二：不是所有404都值得救
有些老页面确实有价值——比如还有外链指向它、搜索里还有不少词能匹配到它，这种页面删掉之后应该做301重定向，跳到内容最相近的新页面，把权重和排名尽量接过去。完全没有价值的旧URL就直接让它404，别硬留。
认知三：404页面的内容决定你能捞回多少用户
这才是今天的重点。我以前觉得404页面放一句"您访问的页面不存在"再加个返回首页的链接就够了。后来我发现，真正做得好的404页面能做到一件事——把本来要流失的用户留下来。我在VP导航（vpis.cn）上翻过不少站的错误页面，有的站404页就一行字，有的站404页会顺带推荐几个热门栏目和最新文章。后者明显更用心。
具体怎么做？我的404页面现在是这个结构：
- 先一句口语化的道歉，比如"这个页面搬家了，不是您的错，是我改版时弄丢的"——比冷冰冰的"404 Not Found"友好得多
- 然后是搜索框，让用户可以直接搜他想找的东西
- 再往下放三四个最新文章的链接和几个主要栏目入口
- 最后给个"如果您觉得是我们操作失误，欢迎反馈"的入口
别看这个页面简单，效果是真的有。我那批删掉的页面里，凡是搜索引擎还残留着关键词、用户点进来落到404页的，大概有两到三成的用户会通过搜索框或者推荐链接继续在站里逛。这个数据是我从统计后台里看到的，不是拍脑袋。
还有个细节可能很少有人提：404页面千万别用太炫酷的动态效果。有些站搞个全屏动画、飘雪花的404页，好看是好看了，但用户本来就有点烦，你再让他等三秒动画加载，他直接关标签页了。404页面要的是快、清楚、给出路。
最后说下404页面的技术细节，别在样式上翻车。404页面要保证状态码正确、页面不要太大、别被robots文件挡住。还要注意，404页不应该被加进网站地图，也不该出现在正常的内链体系里——它是给"撞墙"的用户看的，不是给爬虫常规收录的。
我把这次改版删页的教训总结成一句话：删页面之前先想想那些旧URL还值不值得救，删了之后把404页面当做一个正经页面来设计。VP导航（vpis.cn）这类导航站收录的站点我观察过，404页面做得用心的大多是运营时间比较长的站——因为只有被流量教育过的人，才会心疼每一个流失的访客。