大型网站的 Xml 站点地图
大型网站如何处理每天删除的数千个旧网址？特别是当网站在点击损坏的网址时重定向到自定义错误页面而不是抛出 404 错误页面时。 （我读过搜索引擎爬虫不考虑抛出 404 错误页面的网址）
How do large websites deal with thousands of old urls that are deleted everyday? particularly when the website redirects to a customized error page on hitting a broken url instead of throwing a 404 error page. (I've read search engine crawlers do not consider urls that throw 404 error page)
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
如果页面被删除，我强烈建议您让“自定义错误页面”实际上返回“410 Gone”HTTP 标头。
If a page is deleted, I'd strongly recommend that you make your "customized error page" actually return a "410 Gone" HTTP header.