Googlebot 用子域替换 Rails 应用程序的链接
我有这个 Rails 应用程序，域名为 abc.com。我还有一个单独的 Piwik 统计子域，在此子域 stats.abc.com 中。
Googlebot 也以某种方式列出了一些与我的子域的链接。
http://abc.com/login
http://stats.abc.com/login
http://abc.com/signup
http://stats.abc.com/signup
具有 stats 的网站将引用应用程序中的同一页面，但会被视为完全不同的网站。
在这件事之后，我已将 robots.txt 放入 stats 中，但想知道是否有任何适当的方法来阻止此操作，因为我将来可能会有新的子域。这是我在 robots.txt 中的内容，
User-agent: *
Disallow: /
谢谢。
I have this Rails app, with domain name abc.com. I am also having a separate subdomain for Piwik stats, in this subdomain stats.abc.com.
Googlebot somehow listed some of the links with my subdomain too.
http://abc.com/login
http://stats.abc.com/login
http://abc.com/signup
http://stats.abc.com/signup
The ones with stats will reference to the same page in the app, but are treated entirely different website.
I have put in robots.txt in stats after this matter, but wondering if there is any appropriate way to block this because I may have new subdomains in future. Here's my content in robots.txt
User-agent: *
Disallow: /
Thanks.
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
Robots.txt 会很好地阻止它。在发布网站之前记住这一点很重要 - Google 的速度非常快。某些搜索引擎会忽略 robots.txt。最好的办法是不要使用不适合您情况的子域。我建议阅读子域的真正目的。您不应该在不同的域上提供相同的站点。您应该直接使用 301 或在不同（子）域上有不同的内容...除非 stats.abc.com 包含不同的材料，否则它不应该是子域。您到底需要这么多子域做什么？
您可以检测用户代理，如果它是机器人，也返回 404
Robots.txt will block it just fine. It's just important to remember BEFORE you publish a site - Google is pretty fast. Some search engines ignore robots.txt. Best thing to do is not have subdomains that don't really fit you situation. I recommend reading the true purpose of subdomains. You should not be serving the same site on different domains. You should use a 301 direct or have different contents on different (sub)domains... Unless stats.abc.com contains different material, it shouldn't be a subdomain. What exactly do you need so many subdomains for?
You could detect the user-agent, and if it's a bot, return a 404 too