robots.txt 的正则表达式 - 禁止目录中的某些内容，但不允许目录本身
我正在使用带有自定义永久链接的 WordPress，我想禁止我的帖子，但让蜘蛛可以访问我的类别页面。以下是 URL 的一些示例： 类别页面： somesite dot co…
robots.txt 如何不允许引擎抓取包含以下内容的网址：“http:
Disallow: /*“http: 是我一直在使用的 - 我的猜测是我可能需要以某种方式转义引号。在 Google 网站管理员工具中，它甚至不会读取引号（它允许您查看 …
帮助正确创建robots.txt
我有这样的动态网址。 mydomain.com/?pg=登录 mydomain.com/?pg=reguser mydomain.com/?pg=aboutus mydomain.com/?pg=termsofuse 当页面被请求时。 my…
如何禁止 robots.txt 中的某个文件夹但某些文件除外？
Closed. This question is off-topic. It is not currently accepting answers. 想要改进此问题吗？更新问题，使其关于- Stack Overflow 的主题。 12…
Robots.txt 禁止某些文件夹名称
我想禁止机器人抓取名称为 this-folder 的 url 中任何位置的任何文件夹。 不允许的示例： http://mysite.com/this-folder/ http://mysite.com/houses/…
robots.txt 文件中允许和禁止
我想禁止 SE 机器人访问我网站上的所有文件和文件夹，但其中的特殊文件夹和文件除外。 我可以在 robots.txt 文件中使用这些行吗？ User-agent: * Disa…
在 Google 中仍能找到非索引文件 (?)
为什么我的页面 /admin/login.asp 在 Google 中通过查询“inurl:admin/login.asp”找到，而没有通过“site:www.domain.xx”查询找到？ 我的 robots.tx…
在 robots.txt 中指定变量
我的 URL 结构设置为两个并行（都通向同一个地方）： www.example.com/subname www.example.com/123 问题是也就是说，蜘蛛会爬入以下内容： www.examp…
