防止搜索引擎索引路径中包含 3 个或更多正斜杠的页面

Question

如何防止搜索引擎索引路径中包含 3 个或更多正斜杠的页面？ 例如：

www.example.com/about.html ->ok
www.example.com/1/2/3/4/5/test.html -> no index!!!

我应该如何编写robots.txt？谢谢！

Answer 1

尝试使用

User-Agent: *
Disallow: /*/*/*/*

虽然我不确定所有机器人都支持 *。