如何使用滑动窗口过滤器包装 ruby​​ IO

Question

我在一些 ruby​​ 代码中使用不透明的 API，它采用文件/IO 作为参数。我希望能够向它传递一个 IO 对象，该对象仅允许访问真实 IO 对象中给定范围的数据。

例如，我有一个 8GB 的​​文件，我想给 api 一个 IO 对象，该对象在我的真实文件中间有 1GB 的范围。

real_file = File.new('my-big-file')
offset = 1 * 2**30 # start 1 GB into it
length = 1 * 2**30 # end 1 GB after start
filter = IOFilter.new(real_file, offset, length)

# The api only sees the 1GB of data in the middle
opaque_api(filter)

filter_io 项目看起来是最容易适应这样做的，但似乎不支持直接这个用例。

Answer 1

我认为你必须自己编写它，因为它似乎是一个相当具体的事情：你必须使用一大块来实现 IO 的所有方法（或者你需要的子集）打开的文件作为数据源。 “特殊性”的一个例子是写入这样的流 - 您必须注意不要跨越给定段的边界，即不断跟踪您在大文件中的当前位置。这似乎不是一项微不足道的工作，而且我没有看到任何可以帮助您的捷径。

也许您可以找到一些基于操作系统的解决方案，例如从大文件的一部分中制作环回设备（请参阅man losetup，特别是 -o 和 --sizelimit 选项，例如）。

变体 2：

如果您愿意始终将窗口的内容保留在内存中，则可以将 StringIO 像这样（只是一个草图，未经测试）：

def sliding_io filename, offset, length
  File.open(filename, 'r+') do |f|
    # read the window into a buffer
    f.seek(offset)
    buf = f.read(length)
    # wrap a buffer into StringIO and pass it given block
    StringIO.open(buf) do |buf_io|
      yield(buf_io)
    end
    # write altered buffer back to the big file
    f.seek(offset)
    f.write(buf[0,length])
  end
end

并像使用 IO#open< 的块变体一样使用它/代码>。

Answer 2

我相信 IO 对象具有您正在寻找的功能。我之前用过它来对类似大小的文件进行 MD5 哈希求和。

incr_digest = Digest::MD5.new()
file = File.open(filename, 'rb') do |io|
    while chunk = io.read(50000)
        incr_digest << chunk
    end
end

这是我使用的块，我将块传递给 MD5 Digest 对象。

http://www.ruby-doc.org/core/classes/IO .html#M000918