robots.txt 中可以使用域名吗？

Question

我们在 dev.example.com 有一个开发服务器，正在被 Google 索引。我们使用 AWS Lightsail 将开发服务器全部复制到我们的生产环境 - dev.example.com 和 example.com 上使用相同的 robots.txt 文件。

Google 的 robots.txt 文档没有明确说明是否可以定义根域。我可以对 robots.txt 文件实施域特定规则吗？例如，这是可以接受的：

User-agent: *
Disallow: https://dev.example.com/

User-agent: *
Allow: https://example.com/

Sitemap: https://example.com/sitemap.xml

补充一下，这可以通过 .htaccess 重写引擎来解决 - 我的问题特别是关于 robots.txt。

Answer 1

不可以，您不能在 robots.txt 中指定域。 禁止：https://dev.example.com/ 无效。 robots.txt 排除标准第 6 页规定，禁止行应包含“路径”而不是包含域的完整 URL。

每个主机名（域或子域）都有其自己的 robots.txt 文件。因此，为了防止 Googlebot 抓取 http://dev.example.com/，您需要使用 https://dev.example.com/robots.txt 提供服务内容：

User-agent: *
Disallow: /

同时，您需要从 http://example.com/ 提供不同的文件，可能包含以下内容：

User-agent: *
Disallow:

Sitemap: https://example.com/sitemap.xml

如果相同的代码库为您的开发和生产服务器提供支持，那么您需要条件化 robots.txt 的内容基于它是否在生产中运行。

或者，您可以允许 Googlebot 抓取这两个页面，但在每个页面中添加 标记，这些标记指向实时网站上该页面的 URL。请参阅如何正确使用 rel='canonical'

Answer 2

根据 Google 创建 robots.txt 文档：

“相对于根域的目录或页面，您不
希望用户代理抓取。如果规则引用一个页面，则它必须是
浏览器中显示的完整页面名称。 必须以 / 开头
字符，如果引用目录，则必须以 / 结尾
标记。”

Answer 3

如果您使用的是 Express Nodejs，我通过检查请求标头主机并使用禁止机器人 txt 进行响应来解决它。

app.get('/robots.txt', function (req, res) {
  if (req.headers.host === "localhost:8080" ||
    req.headers.host === "algonewbie.fly.dev") {
    res.type('text/plain');
    res.send("User-agent: *\nDisallow: /");
  }
});