为什么 FileOutputStream 不会抛出 OutOfMemoryException

Question

我在 Windows（64 位）和 Linux（32 位）上尝试了下面的代码。

我确信如果没有 BufferedOutputStream，代码必然会抛出 OutOfMemoryException，但事实并非如此。

这是为什么？谁在磁盘上进行{缓存/缓冲/流化}？

如果与答案相关，您能否描述一下完整的流程（Java API -> 系统调用）？

这段代码使用了NIO吗？

/我很困惑。

import java.io.DataOutputStream;
import java.io.FileOutputStream;
import java.io.IOException;

public class WriteHugeFileToDisk {
    private static int BYTE = 1;
    private static int KILBYTE = BYTE * 1024;
    private static int MEGABYTE = KILBYTE * 1024;
    private static int GIGABYTE = MEGABYTE * 1024;
    private static long TERABYTE = GIGABYTE * 1024L;

    public static void main(String[] args) throws IOException {
        FileOutputStream fileOutputStream = new FileOutputStream(args[0]);
        DataOutputStream dataOutputStream = new DataOutputStream(fileOutputStream);

        byte[] buffer = new byte[MEGABYTE];
        for(int i = 0; i < buffer.length; i++) {
            buffer[i] = (byte)i;
        }

        for(long l = 0; l < 4000; l++) {
            dataOutputStream.write(buffer);
            ;
        }

    }
}

我已经使用 Java 6 运行了此代码。使用以下调用：

Windows：

java WriteHugeFileToDisk %TEMP%\hi.txt

Linux：

java WriteHugeFileToDisk /mnt/hi.info

请注意：该代码创建了 4GB 的文件，仅用于测试。

Answer 1

为什么它会抛出OutOfMemoryException？它只是写入磁盘。如果 FileOutputStream 和 DataOutputStream 有一些缓冲（我没有检查），我不会感到惊讶，但它们肯定不需要缓冲你写的一切。

这段代码没有直接使用 NIO，尽管如果某些内部内容使用了 NIO，我也不会感到惊讶。至于涉及哪些系统调用以及何时进行 - 这将是特定于实现的，但重要的是要认识到 DataOutputStream 和 FileOutputStream 都不是为了缓冲所有内容。您向它们写入一些数据，其中一些数据可能会写入磁盘。如果您刷新或关闭流，那么您迄今为止写入的所有数据都应该到达磁盘。如果您不刷新或关闭流，我预计只会缓存相当少量（同样，特定于实现的）（如果有的话）。

请注意，BufferedOutputStream 确实引入了缓存 - 但仅限于您要求的数量（或默认值）。同样，它不会缓冲所有内容，除非您要求与写入数据一样多的缓冲区。

Answer 2

这两条指令几乎不消耗内存并打开文件句柄。

FileOutputStream fileOutputStream = new FileOutputStream(args[0]);
DataOutputStream dataOutputStream = new DataOutputStream(fileOutputStream);

分配并填充 1MB 数据存储在内存中的字节数组。

byte[] buffer = new byte[MEGABYTE];
for(int i = 0; i < buffer.length; i++) {
    buffer[i] = (byte)i;
}

将 1MB 数据写入输出文件 4000 倍。

for(long l = 0; l < 4000; l++) {
    dataOutputStream.write(buffer);
}

结论：消耗了 1MB 内存，并将 4GB 数据写入文件。因此，除非你的内存很少，否则不会抛出 OutOfMemoryException。

Answer 3

缓冲流是一个流包装器（很明显），它在将数据传递到底层流之前将数据缓冲到内存中。当与文件流结合使用时，这可以为您提供更好的性能，因为读取或写入硬盘驱动器会产生大量开销。缓冲允许您将低效的多次读取或写入压缩为单个高效的更大读取或写入次数，从而显着减少读取/写入次数。但是，它对于应用程序的正常运行并不至关重要。它只是帮助您减少对物理设备的访问。

Java 并不比其他语言更直接地访问您的计算机设备。在你的程序和硬盘上的位之间，仍然有几个层有权缓冲或缓存 Java 拼命试图从磁盘获取或写入磁盘的任何内容。据我所知，操作系统可以（并且通常会）缓存或缓冲内容，并且某些硬件也会这样做。

缓冲，在 Java 操作的含义中，与对设备或任何流的读取或写入的成功或失败无关。

Answer 4

谁在磁盘上进行{缓存/缓冲/流化}？

没有人。它直接写入磁盘。没有任何增量内存使用。