机器人和 301 重定向

Question

我在 6 个多月前更改了网站的 URL 结构。我检测到旧 URL 的使用，并重定向到带有 301 状态代码的新 URL。我使用 flidder 验证了状态代码是否根据请求正确返回。但机器人（yahoo slurps、googlebot 等）仍在访问旧的 URL。我有什么遗漏的吗？

Answer 1

不，只是爬虫需要非常非常长的时间才能获取消息。我的机器人正在抓取自 2005 年以来就不存在的地址——当人们喋喋不休地谈论地址是永久的时，它们确实是永久的。

此外，根据 URL 的结构，您可以使用 robots.txt 禁止旧地址

Answer 2

试试这个，这只会重定向到机器人。

if (preg_match("#(google|slurp@inktomi|yahoo! slurp|msnbot)#si", $_SERVER['HTTP_USER_AGENT'])) {
    header("HTTP/1.1 301 Moved Permanently");
    header("Location: http://www.your-main-site.com/");
    exit;
}

Answer 3

如果外部网站已链接到您的旧页面，并且机器人仍然可以访问这些链接，则机器人将不断出现并尝试访问内容。

Answer 4

此处提到您的网站地址：

http://www.your-main-site.com/

我们用它来转移域名，有时也用于黑帽 seo。