具有大量动态子域的站点的站点地图

Question

我正在运行一个允许用户创建子域的网站。我想通过站点地图将这些用户子域提交给搜索引擎。但是，根据站点地图协议（和 Google 网站管理员工具），单个站点地图只能包含来自单个主机的 URL。

最好的方法是什么？

目前我有以下结构：

1. 站点地图索引位于 example.com/sitemap-index.xml，列出了每个子域的站点地图（但位于同一主机）。
2. 每个子域都有自己的站点地图，位于 example.com/sitemap-subdomain.xml（这样站点地图索引仅包含来自单个主机的 URL）。
3. 子域的站点地图仅包含来自子域的 URL，即 subdomain.example.com/*
4. 每个子域都有 subdomain.example.com/robots.txt 文件：

--

User-agent: *
Allow: /

Sitemap: http://example.com/sitemap-subdomain.xml

--

我认为这种方法符合站点地图协议，但是，Google 网站管理员工具给出子域站点地图错误：“不允许使用 URL。此位置的站点地图不允许使用此 url。”

我还检查了其他网站是如何做到的。例如，Eventbrite 生成包含来自多个子域的 URL 的站点地图（例如，请参阅 http://www.eventbrite.com/events01.xml.gz）。 eventbrite.com/events01.xml.gz）。然而，这不符合站点地图协议。

对于站点地图，您推荐什么方法？

Answer 1

我最近为此苦苦挣扎，终于成功了。有关详细信息，请参阅此帖子：

http://www .google.com/support/forum/p/Webmasters/thread?tid=53c3e4b3ab8d9503&hl=en&fid=53c3e4b3ab8d9503000497bd04ba63cf

摘要：

• 使用 DNS 验证 一次性验证您的网站及其所有子域，
• 使所有子域上的 robots.txt 指向主站点地图在您的 www 域上
• 您可能需要等待几天，Google 才能更新您所有子域上的 robots.txt 缓存副本。在那之前它仍然会显示错误。

Answer 2

是的，子域名限制位于 sitemaps.org 规范中，但是 Google 已实施了一些例外情况：

1. 验证您的 Google 网站站长工具帐户中的所有子域名
   http://www.google.com/support/webmasters/bin /answer.py?answer=75712
   通过 Google 网站管理员工具交叉提交站点地图 XML - 如果通过您的域的根提交 - 不会引发 Google 错误

2. 在子域的 robots.txt 中，您可以指向其他域上的站点地图 XML。不会出现交叉提交错误 - 对于 Google

Answer 3

如果您的网站允许用户在您的网站内创建子域，那么您最好通过创建单个站点地图来为每个子域创建和提交站点地图，从而简化流程。这包括所有子域网站的站点地图 URL 以及将此站点地图保存到单个位置。但是，要做到这一点，所有网站都必须在网站管理员工具中进行验证。您可以将一个站点地图定义为：

http://example.com/sitemap.xml

定义您的所有子站点地图此文档树下所有子域 URL 的域站点地图。

您可以定义多个站点地图文件，每个站点地图最多可包含 50,000 个 URL，文件大小为 10 MB。可以使用 gzip 压缩站点地图以减少带宽。因此，以这种方式定义站点地图不会有任何问题。