没有一一对应时,优先做“可解释的映射”,而不是追求每个旧地址都有独立新页。能合并的旧地址用301指向最接近的新页;确实找不到对应内容的旧地址,用410明确告知已删除,比全部扔回首页更利于搜索引擎理解站点结构变化。下面用一个假设情境把决策过程拆开。
假设承德一家做本地服务展示的站点,把原来的“业务范围”栏目拆成了“服务项目”和“案例展示”两个新栏目。旧地址大约有两百个,其中一部分是栏目列表页,一部分是具体条目页。重构后新站只保留了一百二十个页面,剩下八十个旧地址没有直接对应。这时团队面对的第一个问题不是技术怎么写规则,而是先判断每个旧地址属于哪一类:内容被合并、内容被拆分,还是内容彻底下线。
这三类的处理方式不同。被合并的旧地址,用301指向合并后的新页;被拆分的旧地址,指向承载其主要内容的那一个新页;彻底下线的旧地址,用410。判断依据是旧页原来的主题是否还能在新站找到承载它的位置,而不是看旧页的标题和新页标题像不像。
适用条件是旧页主题与新页主题存在明确的包含或替代关系。代价是如果指向过于勉强,用户从搜索结果点进来会落到一个讲别的内容的页面,跳出率上升,搜索引擎也可能把这批301视为软404式的跳转。
适用条件是旧页承载的是时效性内容、已停止的业务,或本来就没有长期检索价值的信息。代价是如果误判了本可以合并的页面,会丢掉这批旧地址积累的入站链接价值。410不会传递权重,301可以,这是两者最实际的差别。
选择的分界线可以这样定:旧页的核心主题能否在新站找到一个页面,让访问者觉得“我要找的东西还在这里”。能,就301;不能,就410。不要用302代替301,也不要把所有无对应地址统一跳到首页,那会让搜索引擎把首页当成这批地址的替代内容。
设计映射时,建议先产出一张表,至少包含:旧地址、旧页主题、处理方式(301或410)、目标新地址、判断理由。判断理由这一列是给后续复核用的,比如写“旧页为旧版服务A介绍,内容并入新服务页B”。
一个可执行的动作是:先按旧地址的目录结构分组,同一目录下主题相近的旧页,往往可以指向同一个新页。分组后统计每组的目标页数量,如果某个新页承接了过多不相关旧地址,说明这组里混进了本该410的地址,需要回到判断理由那一列重新核对。这个动作的结果直接决定下一步是继续加规则,还是先修正目标页的选择。
映射规则上线后,观察两件事:目标新页是否开始承接来自旧地址的访问,以及无对应地址是否被正常识别为已删除。如果发现某个301目标页的访问来源里,旧地址带来的用户行为明显偏离该页原有用户,说明这条映射可能选错了目标页,应改为指向更贴近的页面,或改为410。
需要提醒的是,某段时间内旧地址的抓取量下降,不能单独证明映射做对了。它也可能是站点整体抓取节奏变化、旧地址外链自然减少,或新站结构本身让爬虫减少了回访。判断映射是否合理,要结合目标页的内容匹配度和用户行为一起看,而不是只看一个数字归零。
条件允许时,可以分批上线映射规则,先处理主题最明确的旧地址,再处理模糊的。这样每一批的结果都能为下一批提供参照,避免一次性把全部旧地址指向少数几个新页,导致后续很难定位是哪条规则出了问题。