具有通配符支持的 Java robots.txt 解析器

Question

我正在寻找 Java 中的 robots.txt 解析器，它支持相同的 模式匹配规则作为Googlebot。

我找到了一些解析 robots.txt 文件的库，但它们都不支持 Googlebot 风格的模式匹配：

• Heritrix（有一个 关于这个主题的开放问题）
• Crawler4j（看起来与Heritrix相同的实现）
• jrobotx

有谁知道可以做到这一点的java库吗？

Answer 1

Nutch 似乎结合使用了 crawler-commons 和 一些自定义代码（请参阅RobotsRulesParser.java）。不过，我不确定目前的情况。

特别是，问题 NUTCH-1455 看起来与您的需求非常相关：

如果 http.robots.agents 中配置的用户代理名称包含空格，即使完全包含在 robots.txt 中，它也不匹配
http.robots.agents =“下载忍者，*”

也许值得尝试/修补/提交修复:)