在没有 robots.txt 的情况下，哪些规则适用？
搜索引擎不应该抓取没有 robots.txt 的网站吗？
编辑1： 如果连 robots 元标记都不存在怎么办？我正在尝试确定这里涉及的合法性。就是这样。
Should a search engine not crawl a website that does not host a robots.txt?
Edit 1:
What if even the robots meta tag is absent? I am trying to determine the legalities involved here. Thats it.
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
搜索引擎将抓取网站上没有 robots.txt 文件的所有可公开访问的页面。
A search engine will crawl all publicly accesible pages on a site without a robots.txt file.