多个站点地图：robots.txt 中的条目？

Question

我一直在使用谷歌搜索，但找不到这个问题的答案。

robots.txt 文件可以包含以下行：

Sitemap: http://www.mysite.com/sitemapindex.xml

但是是否可以在 robots.txt 中指定多个站点地图索引文件，并使搜索引擎识别并抓取每个站点地图索引文件中引用的所有站点地图？例如，这是否有效：

Sitemap: http://www.mysite.com/sitemapindex1.xml

Sitemap: http://www.mysite.com/sitemapindex2.xml

Sitemap: http://www.mysite.com/sitemapindex3.xml

Answer 1

是的，可以有多个站点地图索引文件：

您可以拥有多个站点地图索引文件。

由我突出显示。

是的，可以在robots.txt中列出多个站点地图文件，另请参阅在 sitemap.org 网站中：

您可以为每个 robots.txt 文件指定多个站点地图文件。

站点地图：http://www.example.com/sitemap-host1.xml

站点地图：http://www.example.com/sitemap-host2.xml

我强调一下，这不能误读我想说的，所以简单地说，这是可以做到的。

这对于交叉提交也是必要的，顺便说一句。已选择 robots.txt。

顺便说一句，Google、Yahoo 和Bing，全部是 sitemaps.org 的成员：

Sitemap 0.90 根据 Attribution-ShareAlike Creative Commons License 条款提供，并得到广泛采用，包括来自 Google、Yahoo! 和 Microsoft 的支持。

因此，您可以放心，搜索引擎机器人将正确读取您的站点地图条目。

通过网站管理员工具提交它们也不会造成任何伤害 - 正如 John Mueller 评论了。

Answer 2

如果您的站点地图超过 10 MB（未压缩）或包含超过 50,000 个条目，Google 要求您使用与站点地图索引文件捆绑在一起的多个站点地图。

• 使用站点地图索引文件（对多个站点地图文件进行分组）

在您的 robots.txt 中指向站点地图索引应该如下所示：

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.example.com/sitemap1.xml.gz</loc>
      <lastmod>2012-10-01T18:23:17+00:00</lastmod>
   </sitemap>
   <sitemap>
      <loc>http://www.example.com/sitemap2.xml.gz</loc>
      <lastmod>2012-01-01</lastmod>
   </sitemap>
</sitemapindex>

Answer 3

建议创建站点地图索引文件，而不是将单独的 XML URL 放入 robots.txt 文件中。

然后，将索引站点地图 URL 放入 robots.txt 文件中，如下所示。

Sitemap: http://www.yoursite.com/sitemap_index.xml

如果您想了解如何创建索引站点地图网址，请按照来自 sitemap.org 的指南

最佳实践：

• 如果您的网站有大量此类内容，请分别创建图像站点地图、视频站点地图。
• 检查robots文件的拼写，它应该是robots.txt，不要使用robot.txt或任何拼写错误。
  仅将 robots.txt 文件直接放在根目录中。
• 如需了解更多信息，您可以访问robots.txt 官方网站。

Answer 4

您需要在文件 sitemap.xml 中指定此代码：

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
    <sitemap>
        <loc>http://www.exemple.com/sitemap1.xml.gz</loc>
    </sitemap>
    <sitemap>
        <loc>http://www.exemple.com/sitemap2.xml.gz</loc>
    </sitemap>
</sitemapindex>

来源：https://support.google.com/webmasters/answer/75712?hl=fr#

Answer 5

可以编写它们，但由搜索引擎决定如何处理它们。我怀疑许多搜索引擎要么“不断消化”越来越多的标记，要么将他们找到的最后一个站点地图作为真实的站点地图。

我建议问题是“如果我想要 ____ 搜索引擎索引我的网站，我是否能够定义多个站点地图？”