对压缩文件调用 File.readlines （或等效方法），而不先解压缩它们

Question

我正在尝试编写一个 rake 任务来扫描一些压缩的日志文件并提取一些数据，然后我可以使用这些数据来更新一些数据库记录。由于我们服务器上的空间限制，我无法解压所有文件并仅对它们调用 File.readlines，这是我通常会做的。

任何人都可以建议一种不涉及解压缩文件的替代方法吗？我需要做的基本上是扫描与特定正则表达式匹配的行，然后从匹配行之后的行中提取一些文本。它们都是 gzip 压缩的，因此是 .gz 文件。

Answer 1

您可以使用 Ruby 打开 gzip 压缩文件，然后像正常打开文件一样执行搜索，如下所示：

require 'zlib'

Zlib::GzipReader.open("myfile.gz") { |gz|
  # place your code here, something like:
  p gz.readlines.grep /my-magic-marker/
}

这会将整个文件加载到内存中，请注意这一点。