如何设置仅允许站点默认页面的robot.txt

Question

假设我在 http://example.com 上有一个网站。 我真的很想让机器人看到主页，但任何其他页面都需要被阻止，因为它对蜘蛛来说毫无意义。 换句话说

http://example.com & 应该允许 http://example.com/，但是 http://example.com/anything 和 http://example.com/someendpoint.aspx 应该被阻止。

此外，如果我可以允许某些查询字符串传递到主页，那就太好了： http://example.com?okparam=true

但不是 http://example.com?anythingbutokparam=true

Answer 1

据我所知，并不是所有的爬虫都支持Allow标签。 一种可能的解决方案可能是将除主页之外的所有内容放入另一个文件夹并禁止该文件夹。

Answer 2

基本 robots.txt：

Disallow: /subdir/

我不认为您可以创建一个表达式来表示“除根目录之外的所有内容”，您必须填写所有子目录。

robots.txt 中也不可能存在查询字符串限制。 您必须在后台代码（处理部分）中执行此操作，或者可能使用服务器重写规则来执行此操作。

Answer 3

Disallow: *
Allow: index.ext

如果我没记错的话，第二个子句应该覆盖第一个子句。

Answer 4

Google 网站站长工具报告指出，禁止始终优先于允许，因此没有简单的方法可以在robots.txt 文件。

您可以通过在除主页之外的每个页面的 HTML 中放置 noindex,nofollow META 标记来实现此目的。

Answer 5

经过一番研究，我发现了一个主要搜索提供商可以接受的解决方案：谷歌，雅虎< /a> & msn（我可以在这里找到一个验证器）：

User-Agent: *
Disallow: /*
Allow: /?okparam=
Allow: /$

技巧是使用 $ 来标记 URL 的结尾。