Java 中什么是好的可调整大小、随机访问、高效的字节向量类？

Question

我正在尝试找到一个在Java中存储字节向量的类，它支持：随机访问（这样我可以在任何地方获取或设置字节），调整大小（这样我可以将内容附加到末尾，或者手动更改大小），合理的效率（我可能在这些东西中存储兆字节的数据），全部在内存中（我没有文件系统）。有什么建议吗？

到目前为止，候选者是：

• byte[]。不可调整大小。
• java.util.Vector。邪恶的。效率也低得令人痛苦。
• java.io.ByteArrayOutputStream。不是随机访问。
• java.nio.ByteBuffer。不可调整大小。
• org.apache.commons.collections.primitives.ArrayByteList。不可调整大小。这很奇怪，因为如果您向其中添加内容，它会自动调整大小，但您无法显式更改大小！
• java.nio.channels.FileChannel 的纯 RAM 实现。找不到一个。 （记住我没有文件系统。）
• Apache Commons VFS 和 RAM 文件系统。如果必须的话我会的，但我真的很喜欢重量较轻的东西......

这似乎是一个奇怪的遗漏，我确信我一定在某个地方错过了一些东西。我只是弄清楚什么。我缺少什么？

Answer 1

我会考虑一个将大量 byte[] 数组包装为 ArrayList 或 Vector 元素的类。

使每个块都是例如 1024 字节的倍数，这样您的访问器函数就可以采用 index >>> 。 10 访问ArrayList的右侧元素，然后index & 0x3ff 访问该数组的特定字节元素。

这将避免将每个 byte 视为 Byte 对象的浪费，而代价是浪费最后一个块末尾剩余的内容。

Answer 2

在这些情况下，我只需初始化对合理长度数组的引用，当它变得太小时，通过调用 Arrays.copyOf() 创建并将其复制到更大的数组。例如：

byte[] a = new byte[16];
if (condition) {
    a = Arrays.copyOf(a, a.length*2);
}

如果需要，我们可以将其包装在一个类中......

Answer 3

ArrayList 比 Vector 更高效，因为它不是同步。

为了提高效率，您可以从适当的初始容量开始。查看构造函数：

ArrayList(int initialCapacity) 

我认为默认值只有 16，而您可能需要更大的大小。

不管看起来如何，即使有 100 万条记录，ArrayList 也非常高效！ 我编写了一个小型测试程序，在没有声明初始容量的情况下向 ArrayList 添加了 100 万条记录，并且在我的 Linux 上运行了 5 年笔记本电脑（Core 2 T5200 cpu），填满整个列表只需要大约 100 毫秒。如果我声明 100 万字节的初始空间，则需要大约 60-80 毫秒，但如果我声明 10,000 个项目，则可能需要大约 130-160 毫秒，所以最好不要声明任何内容，除非您可以很好地猜测空间需要。

关于内存使用的问题，它需要大约 8 Mb 的内存，我认为这是完全合理的，除非你正在编写手机软件。

import java.util.ArrayList;
import java.util.List;
import java.util.Vector;

import org.obliquid.util.StopWatch;

public class ArrayListTest {

        public static void main(String args[]) {
                System.out.println("tot=" + Runtime.getRuntime().totalMemory() 
                     + " free=" + Runtime.getRuntime().freeMemory());
                StopWatch watch = new StopWatch();
                List<Byte> bytes = new ArrayList<Byte>();
                for (int i = 0; i < 1000000; i++) {
                        bytes.add((byte) (i % 256 - 128));
                }
                System.out.println("Elapsed: " 
                     + watch.computeElapsedMillisSeconds());
                System.out.println("tot=" + Runtime.getRuntime().totalMemory() 
                     + " free=" + Runtime.getRuntime().freeMemory());
        }
}

正如预期的那样，Vector 在 160-200ms 的范围内表现稍差。

示例输出，未指定起始大小并使用 ArrayList 实现。

tot=31522816 free=31023176
Elapsed: 74
tot=31522816 free=22537648