先给有条件的结论:如果报告页数多于你实际维护的对象数量,通常说明工具把同一对象的不同 URL 变体、参数页或历史版本分别计为一行,去重应以“业务对象”为主键,而不是以报告行数为准。但如果多出来的行对应的是真实存在的独立页面,只是你尚未纳入清单,那么强行去重会掩盖真实工作量,此时应先补全对象清单再谈合并。
把报告导出后,不要急着按 URL 去重。先按下面三类归因,不同原因对应不同处理动作:
www、带与不带结尾斜杠、大小写差异、http 与 https 混用。这类应合并为一个对象。区分方法很直接:对疑似重复的一组行,逐条打开确认是否展示同一份主体内容。如果内容主体一致、只是入口不同,归为一类;如果内容主体不同,即使标题相似也应保留为独立对象。
报告工具通常按抓取到的 URL 计数,而你的实际对象可能是“一个产品”“一个栏目”“一个合作方页面”。两者口径不同,页数自然对不上。可行的做法是建立一张对照表,字段至少包括:业务对象标识、主 URL、可接受的变体、状态(保留/退出/待定)。
假设一个场景:某栏目在旧系统中同时存在带参数和不带参数两个地址,工具报告里算作两行,但业务上只有一个栏目。此时把不带参数的地址设为主 URL,另一行标记为变体并归并。归并后报告行数下降,但对象数量不变,这说明去重动作生效了。
需要提醒的是,行数下降本身不能证明处理正确。抓取量或报告行数归零,也可能只是工具这次没有抓到、过滤规则变了或权限范围缩小,而不是你真的合并成功。判断依据应是对象对照表是否覆盖了全部实际对象,而不是数字变小。
旧内容、旧系统或旧合作关系需要退出时,容易把“重复”和“该删”混为一谈。建议分两步:
如果顺序反过来,先按报告行数批量删除,很可能误删同一对象的主入口,只留下参数页或旧变体,导致保留部分反而无法正常访问。先去重能避免这种误伤。
判断“仍然有价值”可以看三个信号:是否还有外部链接指向它、是否仍是用户会主动访问的入口、是否承载了其他页面依赖的内容。三个都不成立时,退出风险较低;只要有一个成立,就应先保留并单独评估。
前面的结论成立有一个前提:你手上的对象清单是完整的。如果报告里多出来的行,其实是你从未登记过的新页面,那么“页数多于对象数”就不是重复问题,而是清单缺失问题。此时按去重处理,会把真实存在的页面误判为冗余,后续退出决策就会建立在错误的基数上。
验证方法:从多出来的行里随机抽几条,确认它们是否能在你的对象清单中找到对应项。如果找不到,先补清单,再回去重做去重。
先导出报告,按上面三类归因标注每一行,建立对象对照表;然后用对照表中的对象总数,而不是报告行数,作为后续去留决策的基数。完成这一步后,再对标记为退出的对象逐项确认是否存在外部依赖,确认无误后才执行退出。这样处理的结果是:你得到的是可解释的对象清单,而不是一个变小的数字。