Robots.txt http://example.com vs.http:// www.example.com
我遇到的情况是，我们有两个代码库需要保持完整。
例如：http://example.com。
以及一个新网站 http://www.example.com。
旧站点（无 WWW）支持一些遗留代码并具有规则：
User-agent: *
Disallow: /
但在新版本（有 WWW）中没有 robots.txt。
Google 是否将旧的（无 WWW）robots.txt 文件作为其规则？ 会
User-agent: *
Allow: /
添加到（WWW）端
覆盖这个吗？目前无法在旧代码库中更改 robots.txt。
I have a situation where we have two code bases that need to stay intact..
example: http://example.com.
And a new site http://www.example.com.
The old site (no WWW) supports some legacy code and has the rule:
User-agent: *
Disallow: /
But in the new version (with WWW) there is no robots.txt.
Is Google looking to the old (no WWW) robots.txt file as its rule? And will adding
User-agent: *
Allow: /
to the (WWW) side override this?
Changing robots.txt on in the old codebase is not an option at this time.
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
不，是子域“www”。子域“”是单独的子域，其中一个的
robots.txt不用于另一个。No, the subdomain "www." and the subdomain "" are separate subdomains, and the
robots.txtfrom one of them is not used for the other.