Google+ 中的这些行是什么? robots.txt是什么意思?
http://plus.google.com/robots.txt 包含以下内容:
User-agent: *
Disallow: /_/
我假设这意味着搜索引擎可以在根目录的第一级中对任何内容进行索引,而不再有其他内容?
http://plus.google.com/robots.txt has the following contents:
User-agent: *
Disallow: /_/
I'm assuming this means search engines are allowed to index anything in the first level off the root and nothing further?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
我相信这些行是用来拒绝机器人访问 URL 的,比如
https://plus.google.com/_/apps-static/_/ss/landing/...
和
https://plus.google.com/_/apps-static/_/js/landing/...
。这些 URL 主要看起来是 CSS、Javascript 和 JSON,但可能还有其他不那么明显的东西(对搜索引擎更有价值)。
I believe those lines are used to deny robots access to URLs like
https://plus.google.com/_/apps-static/_/ss/landing/...
and
https://plus.google.com/_/apps-static/_/js/landing/...
.These URLs mainly appear to be CSS, Javascript, and JSON, but there might be other things (that are more valuable to search engines) which aren't immediately obvious.