robots.txt 和 .htaccess 中的 Mod 重写
在 robots.txt 文件中，我将禁止网站的某些部分。
例如，我不希望我的“条款和条件”被搜索引擎索引。
User-agent: *
Disallow: /terms
该文件的真实路径实际上是
/data/terms_and_conditions.html
但我已经使用 .htaccess 重写了 URL。
现在问我的问题，我应该在 robots.txt 中指定重写的 url 还是实际的 url？
后续问题：我是否也需要有一个“允许”行，或者搜索引擎会假设所有其他不在 robots.txt 文件中的内容都是允许的吗？
谢谢
In the robots.txt file, I am about to disallow some sections of my site.
For instance, I don't want my "terms and conditions" to be indexed by search engines.
User-agent: *
Disallow: /terms
The real path to the file is actually
/data/terms_and_conditions.html
But I have used .htaccess to rewrite the URL.
Now to my Q, should I specify the rewritten url in the robots.txt or the actual url?
Follow-up question: Do I need to have an "allow" line too, or will the search engines assume all other is allowed which isn't in the robots.txt file?
Thanks
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
搜索引擎将假定 robots.txt 中未包含的所有其他内容都是允许的。在你的情况下，它将禁止路径 /term。
Search engines will assume that all other is allowed which isn't in the robots.txt. In your case it will disallow path /term.