nuxt.js robots.txt文件多重限制每个用户代理

Question

使用nuxts nuxt-robots 模块如何配置每个用户代理的多项删除。目前我有：

  robots: () => {
    return {
      UserAgent: '*',
      Disallow: '/search/',

      Sitemap: (req) => `https://${req.headers.host}/sitemap.xml`,
    }
  },

但是我需要输出：

User-agent: *
Disallow: /search/
Disallow: /testimonials/

User-agent: MJ12bot
Disallow: /search/
Disallow: /testimonials

Answer 1

如果您想要几个元素，则可能需要使用数组。

这样的事情不起作用吗？

robots: () => {
  return [
    {
      UserAgent: '*',
      Disallow: '/search/',
      Sitemap: (req) => `https://${req.headers.host}/sitemap.xml`,
    },
    {
      UserAgent: 'MJ12bot',
      Disallow: '/search/',
      Sitemap: (req) => `https://${req.headers.host}/sitemap.xml`,
    },
  ]
}

就像阵列方法一样： https://github.com/fengsi-io oio/nuxt-robots #array

Answer 2

您可以通过将不允许路径指定为机器人配置中的数组来实现这一目标。

robots: {
  rules: {
    UserAgent: '*',
    Disallow: ['/auth/', '/settings', '/search'],
  },
},

该配置的输出将是：

User-agent: *
Disallow: /auth/
Disallow: /settings
Disallow: /search