robots.txt 文件中允许和禁止
我想禁止 SE 机器人访问我网站上的所有文件和文件夹,但其中的特殊文件夹和文件除外。 我可以在 robots.txt 文件中使用这些行吗?
User-agent: *
Disallow: /
Allow: /thatfolder
对吗?
I want to disallow all files and folders on my site from SE bots, except a special folder and files in it.
Can I use these lines at robots.txt file?
User-agent: *
Disallow: /
Allow: /thatfolder
Is it right?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
这应该可以。 (只是改变了顺序)
This should do. (just changed the order)