如何在 Ruby 中高效解析大型文本文件

Question

我正在编写一个导入脚本，用于处理可能有数十万行的文件（日志文件）。使用一个非常简单的方法（如下）需要足够的时间和内存，我觉得它随时都会耗尽我的 MBP，所以我终止了该进程。

#...
File.open(file, 'r') do |f|
  f.each_line do |line|
    # do stuff here to line
  end
end

该文件特别有 642,868 行：

$ wc -l nginx.log                                                                                                                                        /code/src/myimport
  642868 ../nginx.log

有谁知道更有效的（内存/CPU）方法来处理该文件中的每一行？

更新

上面的 f.each_line 内部的代码只是将正则表达式与该行进行匹配。如果匹配失败，我会将该行添加到 @skipped 数组中。如果通过，我会将匹配项格式化为哈希值（由匹配项的“字段”作为键）并将其附加到 @results 数组中。

# regex built in `def initialize` (not on each line iteration)
@regex = /(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}) - (.{0})- \[([^\]]+?)\] "(GET|POST|PUT|DELETE) ([^\s]+?) (HTTP\/1\.1)" (\d+) (\d+) "-" "(.*)"/

#... loop lines
match = line.match(@regex)
if match.nil?
  @skipped << line
else
  @results << convert_to_hash(match)
end

我完全同意这是一个低效的过程。我可以使 convert_to_hash 内部的代码使用预先计算的 lambda，而不是每次都计算出计算结果。我想我只是假设问题在于行迭代本身，而不是每行代码。

Answer 1

我刚刚对 600,000 行文件进行了测试，它在不到半秒的时间内迭代了该文件。我猜缓慢不在于文件循环，而在于行解析。您也可以粘贴您的解析代码吗？

Answer 2

此博文包含多种解析大型日志文件的方法。也许这就是一个灵感。另请查看 file-tail gem

Answer 3

如果您使用 bash （或类似的），您可能可以像这样进行优化：

In input.rb:

 while x = gets
      # Parse
 end

then in bash:

 cat nginx.log | ruby -n input.rb

-n 标志告诉 ruby​​ assume 'while gets() ; ... end' 围绕脚本循环，这可能会导致它执行一些特殊的优化操作。

您可能还想研究问题的预先编写的解决方案，因为这样会更快。