同一服务器网站：页面内容相同但响应头不同，保留、改写还是退出
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /3232ee45a16f.html
📄
同一服务器网站：页面内容相同但响应头不同，保留、改写还是退出
响应头不同不会改变页面正文的可见内容，但会改变搜索引擎、CDN和浏览器对这段内容“是什么、能不能缓存、该归到哪个URL”的判断。因此，在同一服务器网站做旧内容清理时，不能只看页面是否一样，还要先确认差异出在哪一层：是缓存策略、内容类型、规范化信号，还是访问控制。判断错了，保留可能留下重复入口，退出可能误伤仍有价值的页面。
先分清响应头差异属于哪一类，而不是先决定删不删
同样一段正文，若两个URL返回的 Content-Type 不同，一个按HTML解析，另一个被当成纯文本或下载文件，那么后者即使正文相同，也不会作为正常网页参与同一套判断。若差异只在 Cache-Control、Expires 或 Vary，页面仍可能被当作同一内容的不同副本，但缓存命中、回源频率和更新可见速度会不同。
更值得注意的是规范化类响应头，例如 Link 中的 canonical、Location 或与语言地区相关的 Content-Language。它们不改变正文，却会告诉抓取方“哪个URL才是代表”。如果两个URL正文相同、响应头却给出互相矛盾的规范化信号，保留两者通常比直接退出一个更危险，因为判断会变得不稳定。
保留、改写或退出的适用前提
适合保留的情况
- 两个URL面向不同语言、地区或设备，且响应头中的语言、地区、缓存差异与这种分工一致。
- 其中一个URL只作为历史入口，仍能带来真实访问或外部链接，且响应头明确指向当前代表URL。
- 差异仅涉及缓存层，正文、状态码和规范化目标一致，且业务上确实需要不同缓存策略。
保留不等于放任。实际动作是抽取两个URL的完整响应头，逐项对照状态码、内容类型、缓存指令和规范化信号，再把对照结果作为下一步取舍依据。若对照后发现差异无法用业务分工解释，就应进入改写或退出评估。
适合改写的情况
- 旧页面仍有部分内容价值，但响应头显示它被当成另一种资源类型，或缺少明确的规范化目标。
- 两个URL正文高度接近，但其中一个承担了旧合作、旧系统入口的角色，直接退出会影响既有路径。
- 差异来自模板或中间层配置，而不是内容本身，改写响应头比删除页面更合适。
改写的重点不是重写正文，而是让响应头与页面实际角色一致：该作为网页的返回网页类型，该指向代表URL的给出明确信号，该区分的缓存策略保持可解释。动作完成后要复查响应头是否按预期变化；若变化只出现在部分节点，说明还有缓存或中间层未同步，下一步应先处理同步问题，而不是继续删页面。
适合退出的情况
- 两个URL正文相同、响应头也指向同一代表URL，且旧URL没有独立访问价值、外部链接或业务入口。
- 旧页面属于已结束的合作或旧系统，保留只会制造多个可访问副本，且没有需要继承的内容。
- 响应头差异表明旧URL长期被当作非网页资源处理，继续保留无法恢复其网页角色。
退出时，抓取限制不等于可靠的索引移除。用 robots.txt 挡住抓取，可能让抓取方无法看到移除信号，反而延长旧URL的存在时间。站点地图不保证收录，提交或移除站点地图条目也不能单独证明处理正确。更稳妥的动作是让旧URL返回明确状态并指向保留页，然后观察响应头、状态码和代表URL是否一致；若这些现象没有同步变化，应继续排查，而不是把“请求量归零”当成唯一成功证据。
用一组可区分原因的证据避免误判
假设同一服务器网站上有A、B两个URL，正文相同。A返回网页类型和明确规范化目标，B返回网页类型但缓存时间更长，且没有规范化信号。此时B的访问量下降，可能有多种解释：缓存导致更新延迟、抓取方选择了A、B本身访问减少，或中间层返回了不同版本。不能仅凭访问量下降就断定B应退出。
可区分原因的证据包括：两个URL的状态码是否一致；内容类型是否都按网页处理；规范化信号是否指向同一目标；缓存指令是否导致不同节点返回不同版本；外部链接和站内入口是否仍指向B。若这些证据显示B只是缓存差异，改写缓存策略并保留可能更合适；若显示B长期与A争夺同一角色，退出B并让A承接才更合理。
把判断落到一次可复查的动作上
先选定一个代表URL，再记录同组URL的响应头快照，包括状态码、内容类型、缓存指令、规范化信号和重定向目标。然后只做一项改变：要么统一响应头，要么让旧URL退出并指向代表URL。改变后复查同一组URL的响应头是否同步，以及代表URL是否仍可正常访问。若同步成功，下一步是清理站内入口和站点地图中的旧URL；若未同步，先查缓存和中间层，不要急着扩大删除范围。
这套顺序的价值在于：响应头差异只是线索，不是删除指令。保留、改写或退出，取决于差异能否被业务角色解释，以及改变后能否被复查验证。把这一步做扎实，旧内容清理才不会从“内容相同”直接跳到“必须删掉”。
