robots.txt：用户代理：Googlebot不允许：/ Google仍在索引

Question

看一下这个网站的robots.txt：

fr2.dk/robots.txt

内容是：

User-Agent: Googlebot
Disallow: /

那应该告诉谷歌不要索引该网站，不是吗？

如果属实，为什么该网站会出现在谷歌搜索中？

Answer 1

除了必须等待之外，因为 Google 的索引更新需要一些时间，还要注意，如果有其他网站链接到您的网站，仅靠 robots.txt 不足以删除您的网站。

引用 Google 的支持页面 “从 Google 搜索结果中删除网页或网站”：

如果该网页仍然存在，但您不希望它出现在搜索结果中，请使用 robots.txt 阻止 Google 抓取它。请注意，一般来说，即使 robots.txt 不允许某个 URL，如果我们在其他网站上找到该页面的 URL，我们仍可能会对该页面建立索引。不过，如果该网页在 robots.txt 中被屏蔽，并且存在针对该网页的主动删除请求，则 Google 不会将该网页编入索引。

上述文档中还提到了一种可能的替代解决方案：

或者，您可以使用 noindex 元标记。当我们在页面上看到此标签时，Google 会将该页面从我们的搜索结果中完全删除，即使其他页面链接到该页面也是如此。如果您无法直接访问站点服务器，这是一个很好的解决方案。 （您需要能够编辑页面的 HTML 源代码）。

Answer 2

我可以确认 Google 不尊重机器人排除文件。这是我的文件，是我在将此源放到网上之前创建的：

https://git.habd.as/robots .txt

以及文件的完整内容：

User-agent: *
Disallow:

User-agent: Google
Disallow: /

Google 仍然将其编入索引。

去年 3 月取消我的帐户后，我不再使用 Google，也从未将此网站添加到 Yandex 之外的网站管理员控制台，这让我有两个假设：

1. Google 正在抓取 Yandex
2. Google 不尊重机器人排除标准

我还没有 grep 我的网站日志尚未，但我会的，我的假设是我会发现谷歌蜘蛛在那里行为不端。

Answer 3

如果您刚刚添加了此内容，那么您必须等待 - 这不是即时的 - 直到 Googlebot 回来重新蜘蛛化该网站并看到 robots.txt，该网站仍将在他们的数据库中。

我怀疑它是否相关，但你可能想将你的“代理”更改为“代理” - 谷歌很可能对此不区分大小写，但严格遵循标准不会有什么坏处。