摘要：产品PDF删除后仍被百度蜘蛛反复请求，错误重定向或robots屏蔽会延长问题。本文按来源入口、替代关系和响应状态说明404、410与301的选择及上线验收方法。
百度蜘蛛反复请求已删除的产品 PDF 时，有等价新文件才做 301；文件确认永久撤下且不再提供，可返回 410；无法确认是否存在替代资料，或地址本来就无效，应保留真实 404。不要把所有旧文件重定向到首页，也不要用 robots.txt 屏蔽旧地址来掩盖错误。搜索系统需要先访问 URL，才能读到正确的响应状态。
先查清旧地址为什么仍在被请求
日志里的一条 404 只能说明请求失败，不能说明来源已经消失。先记录请求时间、方法、完整路径、状态码、User-Agent、Referer 和响应字节数。示例日志可以是 2026-07-22 10:16:08、GET、/upload/manual/MX80-V1.pdf、404、Baiduspider、Referer为空。这里是排查字段示例，不代表真实抓取记录。
Referer 为空时，也不能直接认定是外部链接。蜘蛛可能从旧 sitemap、历史抓取记录、分享页面或未清理的静态代码再次访问。运营人员应在当前数据库、页面源码、导航组件、下载按钮、XML 地图和站内搜索结果中查找完整文件名；再检查旧产品页、打印页、语言版本和附件列表，避免只在浏览器可见文字里搜索。
旧 PDF 若仍写在 sitemap 中，应先移除该条目。sitemap 只提交希望抓取的有效地址，不能把已失效文件留在里面等待蜘蛛自行判断。若页面上的下载链接仍指向旧文件，则先修链接，再决定旧 URL 的状态；否则新访客和蜘蛛会不断从站内获得同一错误入口。
还要确认文件是否真的“删除”。有时文件被改名为 MX80-Manual-V2.pdf，内容只是版本升级；有时产品已经停产，但说明书仍用于存量设备售后；也可能附件因权限调整转入客户中心。三种情况对应的用户任务不同，不能只看服务器目录里有没有原文件。产品、技术、售后和运营应共同确认资料用途及公开边界。
检查时要绕开本机缓存造成的假象。同一旧地址分别用无登录浏览器和命令行请求，观察最终状态与跳转链；若站点前面有 CDN，还要确认边缘节点是否仍缓存旧 PDF 或旧 200 响应。源站已经返回 410、公开访问仍是 200 时，应先清理对应 URL 缓存，再复测，不能反复修改数据库。
按替代关系选择404、410或301
存在内容等价、用途相同的新文件时，可以从旧地址 301 到新地址。例如 MX80-V1.pdf 更名为 MX80-Manual-V2.pdf，且新版仍适用于同一型号、覆盖原下载任务。重定向后要检查 Location 指向最终 200 地址，避免经过多跳或回到旧地址。新文件还应返回正确的 Content-Type，例如 application/pdf，而不是一个状态为 200 的错误提示页。
文件明确永久撤下、没有替代资料，并且站点能够稳定配置时，可以返回 410，表达资源已永久移除。若无法确认永久性，404 更稳妥。两者都应返回真实 HTTP 状态，不要让模板渲染“文件不存在”却仍返回 200。状态为 200 的软错误页会让抓取系统继续把无效内容当成可用资源，也让日志统计失真。
301 不应用作清理工具。旧说明书与新产品首页不是同一资源，停产型号文件与企业首页更没有等价关系。把所有失效 PDF 统一跳到首页，用户找不到原任务，蜘蛛也会收到错误的替代信号。若只有相关而非等价资料，可以让 404 或 410 页面提供普通文字链接，引导用户查看售后入口，但响应状态仍保持原判断。
不要在 robots.txt 中 Disallow 旧 PDF 目录后就结束处理。禁止抓取会阻止蜘蛛重新读取 404、410 或 301，旧状态反而可能保留更久。若目录内还有正常说明书，整目录屏蔽也会误伤有效文件。权限资料则应通过登录校验返回明确访问结果，不能把公开地址换成空白页面。
状态调整要留责任记录。资料负责人确认是否有等价替代，技术人员配置响应，运营人员清理页面入口与 sitemap，再由另一人从公网复核。记录可使用 Removed URL、Decision、Replacement URL、Approved By、Changed At 和 Verified At 等字段。这里是字段示例，用于解释旧地址为何重定向或永久移除。
上线验收至少执行一次 GET 和一次响应头核对。记录旧 URL、预期状态、实际状态、Location、新 URL 状态、Content-Type 和检查时间；再确认旧地址已从 sitemap 与站内链接移除，新地址能从对应产品页获得普通 HTML 入口。日志仍有零星旧请求并不代表处理失败，关键是每次请求都得到稳定、符合替代关系的响应。
