Ruby on Rails，如何确定请求是由机器人还是搜索引擎蜘蛛发出的？

Question

我有 Rails 应用程序，记录每个请求到特定 URL 的 IP 地址，但在我的 IP 数据库中，我发现了 facebook blok IP，如 66.220.15.* 和 Google IP（我建议它来自机器人）。是否有任何公式可以确定机器人或搜索引擎蜘蛛发出的请求的 IP？谢谢

Answer 1

由于表现良好的机器人通常至少会在它们发送的 UA 字符串中包含一个引用 URI，因此：

request.env["HTTP_USER_AGENT"].match(/\(.*https?:\/\/.*\)/)

是查看请求是来自机器人还是来自人类用户代理的简单方法。这似乎比尝试与综合列表进行匹配更稳健。

Answer 2

我认为您可以使用浏览器 gem 来检查机器人。

if browser.bot?
  # code here
end

https://github.com/fnando/browser

Answer 3

机器人需要（根据常识/礼貌，而不是任何法律）发送用户代理及其请求。您可以使用 request.env["HTTP_USER_AGENT"] 检查这一点并根据需要进行过滤。

Answer 4

另一种方法是使用 crawler_detect gem：

CrawlerDetect.is_crawler?("Bot user agent")
=> true

#or after adding Rack::Request extension
request.is_crawler?
=> true

如果您想检测大量不同的机器人（超过 1000 个）。