不断增长的字节缓冲区

Question

有没有人见过 java.nio.ByteBuffer 的实现，如果 putX() 调用超出容量，它将动态增长？

我想这样做的原因有两个：

1. 我不知道提前需要多少空间。
2. 我不想每次用完空间时都先执行 new ByteBuffer.allocate() 然后执行批量 put() 。

Answer 1

也值得看看 Netty 的 DynamicChannelBuffer。我发现方便的事情是：

• slice(int index, int length)
• 无符号操作
• 分离写入器和读取器索引

Answer 2

事实上，自动扩展缓冲区的使用起来更加直观。如果您能负担得起重新分配的性能奢侈，为什么不呢！

Netty 的 ByteBuf 为您提供了准确的信息这。就像他们已经采用了 java.nio 的 ByteBuffer 并刮掉了边缘，使其更易于使用。

此外，它是在Maven上的一个独立的netty-buffer 包，因此您无需包含完整的 Netty 套件即可使用。

Answer 3

我建议使用输入流从文件接收数据（如果需要非阻塞，则使用单独的线程），然后将字节读入 ByteArrayOutstream，这使您能够将其作为字节数组获取。这是一个简单的示例，没有添加太多解决方法。

    try (InputStream inputStream = Files.newInputStream(
            Paths.get("filepath"), StandardOpenOption.READ)){

        ByteArrayOutputStream baos = new ByteArrayOutputStream();
        int byteRead = 0;

        while(byteRead != -1){
            byteRead = inputStream.read();
            baos.write(byteRead);
        }
        ByteBuffer byteBuffer = ByteBuffer.allocate(baos.size())
        byteBuffer.put(baos.toByteArray());

        //. . . . use the buffer however you want

    }catch(InvalidPathException pathException){
        System.out.println("Path exception: " + pathException);
    }
    catch (IOException exception){
        System.out.println("I/O exception: " + exception); 
    }

Answer 4

另一个解决方案是分配足够的内存，填充 ByteBuffer ，然后仅返回占用的字节数组：

初始化一个大的 ByteBuffer ：

ByteBuffer byteBuffer = ByteBuffer.allocate(1000);

完成放置后但是

private static byte[] getOccupiedArray(ByteBuffer byteBuffer)
{
    int position = byteBuffer.position();
    return Arrays.copyOfRange(byteBuffer.array(), 0, position);
}

，从一开始就使用 org.apache.commons.io.output.ByteArrayOutputStream 可能是最好的解决方案。

Answer 5

Netty ByteBuf 在这方面做得非常好。

Answer 6

Vector 允许持续增长

向量<字节> bFOO = new Vector();
bFOO.add((字节)0x00);`

Answer 7

要序列化某些东西，您将需要条目中的对象。您可以做的是将对象放入对象集合中，然后进行循环以获取迭代器并将它们放入字节数组中。然后，调用 ByteBuffer.allocate(byte[].length) 。这就是我所做的，它对我有用。

Answer 8

为了使异步 I/O 工作，必须有连续的内存。在 C 中，您可以尝试重新分配数组，但在 Java 中，您必须分配新的内存。您可以写入 ByteArrayOutputStream，然后在准备发送时将其转换为 ByteBuffer。缺点是您正在复制内存，而高效 IO 的关键之一是减少复制内存的次数。

Answer 9

ByteBuffer 不能真正以这种方式工作，因为它的设计概念只是特定数组的视图，您也可以直接引用该数组。它无法尝试将该数组交换为更大的数组而不发生奇怪的情况。

您想要使用的是DataOutput。最方便的方法是使用（预发布的）Guava 库：

ByteArrayDataOutput out = ByteStreams.newDataOutput();
out.write(someBytes);
out.writeInt(someInt);
// ...
return out.toByteArray();

但您也可以从 ByteArrayOutputStream 手动创建 DataOutputStream，然后通过将虚假 IOException 链接到 AssertionError 来处理它们。

Answer 10

另一种选择是使用具有大缓冲区的直接内存。这会消耗虚拟内存，但仅使用您使用的物理内存（按页，通常为 4K）

因此，如果您分配 1 MB 的缓冲区，它将消耗 1 MB 的虚拟内存，但唯一的操作系统将物理页提供给应用程序这是实际使用的。

结果是您看到您的应用程序使用了大量虚拟内存，但驻留内存相对较少。

Answer 11

看看 Mina IOBuffer https://mina。 apache.org/mina-project/userguide/ch8-iobuffer/ch8-iobuffer.html 这是替换的下降（它包装了 ByteBuffer）

但是，我建议您分配比您需要的更多的内容，不用担心关于它太多了。如果您分配一个缓冲区（尤其是直接缓冲区），操作系统会为其提供虚拟内存，但它仅在实际使用时使用物理内存。虚拟内存应该非常便宜。