robots.txt 如何不允许引擎抓取包含以下内容的网址：“http:

Question

Disallow: /*“http:

是我一直在使用的 - 我的猜测是我可能需要以某种方式转义引号。在 Google 网站管理员工具中，它甚至不会读取引号（它允许您查看 robots.txt 文件并在几个网址上对其进行测试）。

在 Google 网站管理员工具上，它会显示 robots.txt 文件，但该行不带引号。

Disallow: /*http:

任何建议将不胜感激。

主要问题是脚本格式不正确，并且网站存在抓取错误：

http://www.domain.com/“http://www.domain.com/directory/directory/dir_ectory/dir_ectory/pagetitle"

是我们收到抓取错误的页面之一的示例。我的假设是修复 robots.txt 页面将阻止这些页面出现在网站站长工具的抓取错误中。