在 Java 中使用 FileChannels 连接大文件的方法是什么？

Question

我想找出两种方法中哪一种更好，用于在 Java 中连接文本文件。如果有人有一些关于内核级别发生的事情的见解，可以解释这些写入 FileChannel 的方法之间的差异，我将不胜感激。

根据我从文档和其他 Stack Overflow 对话中了解到的情况， allocateDirect 直接在驱动器上分配空间，并且主要避免使用 RAM。我担心如果文件输入很大（例如 1GB），使用 allocateDirect 创建的 ByteBuffer 可能会溢出或无法分配。在我们的软件开发过程中，我保证该文件不会大于 2 GB；但未来它可能会达到 10 或 20GB。

我观察到，transferFrom 循环从来不会多次执行循环...所以它似乎成功地一次写入整个 infile；但我还没有用大于 60MB 的文件对其进行测试。不过，我循环了，因为文档指定不能保证一次会写入多少内容。在我的系统上，transferFrom 只能接受 int32 作为其计数参数，因此我将无法指定一次传输超过 2GB 的数据...同样，内核专业知识将帮助我理解。

预先感谢您的帮助！

使用 ByteBuffer：

boolean concatFiles(StringBuffer sb, File infile, File outfile) {

    FileChannel inChan = null, outChan = null;

    try {

        ByteBuffer buff = ByteBuffer.allocateDirect((int)(infile.length() + sb.length()));
        //write the stringBuffer so it goes in the output file first:
        buff.put(sb.toString().getBytes());

        //create the FileChannels:
        inChan  = new RandomAccessFile(infile,  "r" ).getChannel();
        outChan = new RandomAccessFile(outfile, "rw").getChannel();

        //read the infile in to the buffer:
        inChan.read(buff);

        // prep the buffer:
        buff.flip();

        // write the buffer out to the file via the FileChannel:
        outChan.write(buff);
        inChan.close();
        outChan.close();
     } catch...etc

}

使用 trasferTo（或 transferFrom）：

boolean concatFiles(StringBuffer sb, File infile, File outfile) {

    FileChannel inChan = null, outChan = null;

    try {

        //write the stringBuffer so it goes in the output file first:    
        PrintWriter  fw = new PrintWriter(outfile);
        fw.write(sb.toString());
        fw.flush();
        fw.close();

        // create the channels appropriate for appending:
        outChan = new FileOutputStream(outfile, true).getChannel();
        inChan  = new RandomAccessFile(infile, "r").getChannel();

        long startSize = outfile.length();
        long inFileSize = infile.length();
        long bytesWritten = 0;

        //set the position where we should start appending the data:
        outChan.position(startSize);
        Byte startByte = outChan.position();

        while(bytesWritten < length){ 
            bytesWritten += outChan.transferFrom(inChan, startByte, (int) inFileSize);
            startByte = bytesWritten + 1;
        }

        inChan.close();
        outChan.close();
    } catch ... etc

Answer 1

由于数据复制较少，transferTo() 的效率会高得多；如果数据复制都可以在内核中完成，则无需复制。如果它不在您的平台上，它仍然会使用高度调整的代码。

您确实需要循环，有一天它会迭代并且您的代码将继续工作。