Rails rake 任务在运行时不断消耗更多 RAM（使用 mechanize 抓取网站）

Question

我使用 mechanize gem 来抓取网站。我在 Rails rake 任务中编写了一个非常简单的单线程爬虫，因为我需要访问 Rails 模型。

爬虫运行得很好，但在观察它运行一段时间后，我发现它随着时间的推移消耗了越来越多的 RAM，这很糟糕。

我用God gem来监控我的爬虫。

下面是我的 rake 任务代码，我想知道它是否会暴露内存泄漏的可能性？

task :abc => :environment do
  prefix_url = 'http://example.com/abc-'
  postfix_url = '.html'
  from_page_id = (AppConfig.last_crawled_id || 1) + 1
  to_page_id = 100000

  agent = Mechanize.new
  agent.user_agent_alias = 'Mac Safari'

  (from_page_id..to_page_id).each do |i|
    url = "#{prefix_url}#{i}#{postfix_url}"
    puts "#{Time.now} - Crawl #{url}"
    page = agent.get(url)

    page.search('#content > ul').each do |s|
      var = s.css('li')[0].text()
      value = s.css('li')[1].text()
      MyModel.create :var => var, :value => value
    end

    AppConfig.last_crawled_id = i
  end
  # Finish crawling, let's stop
  `god stop crawl_abc`
end

Answer 1

除非您拥有最新版本的 mechanize（2.1.1 仅在一天左右发布），否则默认情况下 mechanize 会以无限的历史记录大小运行，即它会保留您访问过的所有页面，因此会逐渐使用越来越多的页面记忆。

在您的情况下，这没有任何意义，因此在代理上调用 max_history= 应该限制以这种方式使用的内存量