高效批量更新rails数据库

Question

我正在尝试构建一个 rake 实用程序，它会经常更新我的数据库。

这是我到目前为止的代码：

namespace :utils do

  # utils:update_ip
  # Downloads the file frim <url> to the temp folder then unzips it in <file_path>
  # Then updates the database.

  desc "Update ip-to-country database"
  task :update_ip => :environment do

    require 'open-uri'
    require 'zip/zipfilesystem'
    require 'csv'

    file_name = "ip-to-country.csv"
    file_path = "#{RAILS_ROOT}/db/" + file_name
    url = 'http://ip-to-country.webhosting.info/downloads/ip-to-country.csv.zip'


    #check last time we updated the database.
    mod_time = ''
    mod_time = File.new(file_path).mtime.httpdate    if File.exists? file_path

    begin
      puts 'Downloading update...'
      #send conditional GET to server
      zipped_file = open(url, {'If-Modified-Since' => mod_time})
    rescue OpenURI::HTTPError => the_error
      if the_error.io.status[0] == '304'
        puts 'Nothing to update.'
      else
        puts 'HTTPError: ' + the_error.message
      end
    else # file was downloaded without error.

      Rails.logger.info 'ip-to-coutry: Remote database was last updated: ' + zipped_file.meta['last-modified']
      delay = Time.now - zipped_file.last_modified
      Rails.logger.info "ip-to-country: Database was outdated for: #{delay} seconds (#{delay / 60 / 60 / 24 } days)"

      puts 'Unzipping...'
      File.delete(file_path) if File.exists? file_path
      Zip::ZipFile.open(zipped_file.path) do |zipfile|
        zipfile.extract(file_name, file_path)
      end

      Iptocs.delete_all

      puts "Importing new database..."


      # TODO: way, way too heavy find a better solution.


      CSV.open(file_path, 'r') do |row|
        ip = Iptocs.new(  :ip_from        => row.shift,
                        :ip_to          => row.shift,
                        :country_code2  => row.shift,
                        :country_code3  => row.shift,
                        :country_name   => row.shift)
        ip.save
      end #CSV
      puts "Complete."

    end #begin-resuce
  end #task
end #namespace

我遇到的问题是，输入 10 万多个条目需要几分钟的时间。我想找到一种更有效的方法来更新我的数据库。理想情况下，这将保持独立于数据库类型，但如果不是这样，我的生产服务器将在 MySQL 上运行。

感谢您的任何见解。

Answer 1

您是否尝试过使用 AR 扩展进行批量导入？当您向数据库插入 1000 行时，您会获得令人印象深刻的性能改进。请访问他们的网站了解更多详细信息。

请参阅这些示例以获取更多信息

使用示例 1

使用示例 2

使用示例 3

Answer 2

使用数据库级实用程序实现高速卢克！

不幸的是，它们是特定于数据库的。但它们很快
对于 mysql，请参见 http://dev.mysql.com/ doc/refman/5.1/en/load-data.html

Answer 3

您可以生成一个包含所需所有插入的文本文件，然后执行：

mysql -u user -p db_name < mytextfile.txt

不确定这是否会更快，但值得一试...

Answer 4

我目前正在尝试 activerecord-import，这听起来很有希望：

https://github.com/zdennis/ activerecord-导入

Answer 5

正如 Larry 所说，如果文件采用您想要的格式，请使用特定于数据库的导入实用程序。但是，如果您需要在插入之前操作数据，则可以生成包含多行数据的单个 INSERT 查询，这比对每行使用单独的查询更快（ActiveRecord 会这样做）。例如：

INSERT INTO iptocs (ip_from, ip_to, country_code) VALUES
  ('xxx', 'xxx', 'xxx'),
  ('yyy', 'yyy', 'yyy'),
  ...;