Robots.txt：禁止子目录但允许目录
我想允许抓取以下文件：
/directory/
但不允许抓取以下文件：
/directory/subdirectory/
正确的 robots.txt 指令：
User-agent: *
Disallow: /subdirectory/
恐怕如果我不允许 /directory/subdirectory/ 我将禁止爬行 /directory/ 中的所有文件，这是我不想做的，所以我使用是否正确：
User-agent: *
Disallow: /subdirectory/
I want to allow crawling of files in:
/directory/
but not crawling of files in:
/directory/subdirectory/
Is the correct robots.txt instruction:
User-agent: *
Disallow: /subdirectory/
I'm afraid that if I disallowed /directory/subdirectory/
that I would be disallowing crawling of all files in /directory/ which I do not want to do, so am I correct in using:
User-agent: *
Disallow: /subdirectory/
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（2）
你想太多了：
是正确的。
You've overthinking it:
is correct.
蜘蛛并不傻，它们可以解析路径:)
Spiders aren't stupid, they can parse a path :)