robots.txt 中的 noindex 有效吗？
noindex 是 robots.txt 文件中的可选指令，还是 user-agent、disallow、allow 和crawl-delay 是唯一的选项？
例如，这对于 robots.txt 文件的内容有效吗？
user-agent: *
disallow: /
noindex: /
Is noindex an optional directive in a robots.txt file, or are user-agent, disallow, allow and crawl-delay the only options?
For example, is this valid for the contents of a robots.txt file?
user-agent: *
disallow: /
noindex: /
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
noindex 不是 robots.txt 文件的有效指令。不过，它是 META 机器人标签的有效指令。
robots.txt 的唯一标准指令是“User-agent”和“Disallow”。某些浏览器支持一组扩展指令，包括“抓取延迟”、“允许”和“站点地图”。 http://rield.com/cheat-sheets/robots-exclusion-standard-protocol 似乎对标准和扩展指令有详尽的解释。
noindex is not a valid directive for a robots.txt file. It is a valid directive for a META robots tag, though.
The only standard directives for robots.txt are "User-agent" and "Disallow". Some browsers support an extended set of directives including "Crawl-delay", "Allow" and "Sitemap". http://rield.com/cheat-sheets/robots-exclusion-standard-protocol seems to have a thorough explanation of the standard and extended directives.