Robots.txt 禁止某些文件夹名称

Question

我想禁止机器人抓取名称为 this-folder 的 url 中任何位置的任何文件夹。

不允许的示例：

http://mysite.com/this-folder/
http://mysite.com/houses/this-folder/
http://mysite.com/some-other/this-folder/
http://mysite.com/no-robots/this-folder/

这是我的尝试：

Disallow: /.*this-folder/

这会起作用吗？

Answer 1

官方不支持通配符和正则表达式：

http://www.robotstxt.org/robotstxt.html

但显然有些搜索引擎支持这一点。