Java内存映射大文件

Question

Java 将 MappedByteBuffer 限制为 2GIG，这使得用于映射大文件变得很棘手。通常推荐的方法是使用 MappedByteBuffer 数组并对其进行索引：

long PAGE_SIZE = Integer.MAX_VALUE;
MappedByteBuffer[] buffers;

private int getPage(long offset) {
    return (int) (offset / PAGE_SIZE)
}

private int getIndex(long offset) {
    return (int) (offset % PAGE_SIZE);
}

public byte get(long offset) {
    return buffers[getPage(offset)].get(getIndex(offset));
}

这可能适用于单个字节，但如果要处理更大且需要跨越边界的读/写，则需要重写大量代码（getLong( ) 或 get(byte[]))。

问题：对于此类场景，您的最佳实践是什么？您知道可以重复使用而无需重新发明轮子的工作解决方案/代码吗？

Answer 1

您检查过 dsiutil 的 ByteBufferInputStream ？

Javadoc

此类的主要用处是可以创建真正基于 MappedByteBuffer 的输入流。

特别是，工厂方法 map(FileChannel, FileChannel.MapMode) 会将整个文件内存映射到 ByteBuffer 数组中，并将该数组公开为 ByteBufferInputStream。这使得可以轻松访问大于 2GiB 的映射文件。

• long length()
• longposition()
• voidposition(long newPosition)

这是您想到的吗？ 也是 LGPL。