使用 java nio 将字符串写入文件的最佳方法

Question

我需要使用 java nio 将巨大的字符串写入（附加）到平面文件。编码为 ISO-8859-1。

目前我们正在编写如下所示。有没有更好的方法来做同样的事情？

public void writeToFile(Long limit) throws IOException{
     String fileName = "/xyz/test.txt";
     File file = new File(fileName);        
     FileOutputStream fileOutputStream = new FileOutputStream(file, true);  
     FileChannel fileChannel = fileOutputStream.getChannel();
     ByteBuffer byteBuffer = null;
     String messageToWrite = null;
     for(int i=1; i<limit; i++){
         //messageToWrite = get String Data From database
         byteBuffer = ByteBuffer.wrap(messageToWrite.getBytes(Charset.forName("ISO-8859-1")));
         fileChannel.write(byteBuffer);         
     }
     fileChannel.close();
}

编辑：尝试了两个选项。以下是结果。

@Test
public void testWritingStringToFile() {
    DiagnosticLogControlManagerImpl diagnosticLogControlManagerImpl = new DiagnosticLogControlManagerImpl();
    try {
        File file = diagnosticLogControlManagerImpl.createFile();
        long startTime = System.currentTimeMillis();
        writeToFileNIOWay(file);
        //writeToFileIOWay(file);
        long endTime = System.currentTimeMillis();
        System.out.println("Total Time is  " + (endTime - startTime));
    } catch (IOException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    }
}

/**
 *
 * @param limit
 *            Long
 * @throws IOException
 *             IOException
 */
public void writeToFileNIOWay(File file) throws IOException {
    FileOutputStream fileOutputStream = new FileOutputStream(file, true);
    FileChannel fileChannel = fileOutputStream.getChannel();
    ByteBuffer byteBuffer = null;
    String messageToWrite = null;
    for (int i = 1; i < 1000000; i++) {
        messageToWrite = "This is a test üüüüüüööööö";
        byteBuffer = ByteBuffer.wrap(messageToWrite.getBytes(Charset
            .forName("ISO-8859-1")));
        fileChannel.write(byteBuffer);
    }
}

/**
 *
 * @param limit
 *            Long
 * @throws IOException
 *             IOException
 */
public void writeToFileIOWay(File file) throws IOException {
    FileOutputStream fileOutputStream = new FileOutputStream(file, true);
    BufferedOutputStream bufferedOutputStream = new BufferedOutputStream(
        fileOutputStream, 128 * 100);
    String messageToWrite = null;
    for (int i = 1; i < 1000000; i++) {
        messageToWrite = "This is a test üüüüüüööööö";
        bufferedOutputStream.write(messageToWrite.getBytes(Charset
            .forName("ISO-8859-1")));
    }
    bufferedOutputStream.flush();
    fileOutputStream.close();
}

private File createFile() throws IOException {
    File file = new File(FILE_PATH + "test_sixth_one.txt");
    file.createNewFile();
    return file;
}

使用 ByteBuffer 和 Channel：花费了 4402 毫秒

使用缓冲写入器：花费了 563 毫秒

Answer 1

更新：

从Java11开始，有一种使用java.nio.file.Files编写字符串的特定方法：

Files.writeString(Paths.get(file.toURI()), "My string to save");

我们还可以使用以下方式自定义编写：

Files.writeString(Paths.get(file.toURI()), 
                  "My string to save", 
                   StandardCharsets.UTF_8,
                   StandardOpenOption.CREATE,
                   StandardOpenOption.TRUNCATE_EXISTING);

原始答案：

有一个单行解决方案，使用Java nio：

java.nio.file.Files.write(Paths.get(file.toURI()), 
                          "My string to save".getBytes(StandardCharsets.UTF_8),
                          StandardOpenOption.CREATE,
                          StandardOpenOption.TRUNCATE_EXISTING);

我还没有与其他解决方案进行基准测试，但是使用打开-写入-关闭文件的内置实现应该是快速和代码相当小。

Answer 2

我认为如果不对您的软件进行基准测试，您将无法得到严格的答案。在适当的条件下，NIO 可能会显着加快应用程序的速度，但也可能会使速度变慢。
这里有一些要点：

• 你真的需要字符串吗？如果您从数据库存储和接收字节，则可以避免字符串分配和编码成本。
• 您真的需要倒带和翻转吗？似乎您正在为每个字符串创建一个新缓冲区并将其写入通道。 （如果你采用 NIO 方式，即重用缓冲区而不是包装/丢弃的基准策略，我认为它们会做得更好）。
• 请记住 wrap 和 allocateDirect 可能会产生完全不同的缓冲区。基准测试两者要把握权衡。使用直接分配时，请确保重复使用相同的缓冲区以获得最佳性能。
• 最重要的是：一定要将 NIO 与 进行比较BufferedOutputStream 和/或 BufferedWritter方法（也使用具有合理大小的中间 byte[] 或 char[] 缓冲区）。我见过很多，许多，很多人发现蔚来并不是灵丹妙药。

如果您喜欢一些前沿...返回IO Trails对于一些 NIO2 :D。

这是一个关于使用不同文件复制的有趣的基准策略。我知道这是一个不同的问题，但我认为大多数事实和作者的结论也适用于您的问题。

干杯，

更新 1：

由于 @EJP 告诉我直接缓冲区对于这个问题效率不高，所以我自己对其进行了基准测试，并最终得到了一个使用内存映射文件的不错的 NIO 解决方案。在我运行 OS X Lion 的 Macbook 中，这明显优于 BufferedOutputStream。但请记住，这可能是操作系统/硬件/虚拟机特定的：

public void writeToFileNIOWay2(File file) throws IOException {
    final int numberOfIterations = 1000000;
    final String messageToWrite = "This is a test üüüüüüööööö";
    final byte[] messageBytes = messageToWrite.
            getBytes(Charset.forName("ISO-8859-1"));
    final long appendSize = numberOfIterations * messageBytes.length;
    final RandomAccessFile raf = new RandomAccessFile(file, "rw");
    raf.seek(raf.length());
    final FileChannel fc = raf.getChannel();
    final MappedByteBuffer mbf = fc.map(FileChannel.MapMode.READ_WRITE, fc.
            position(), appendSize);
    fc.close();
    for (int i = 1; i < numberOfIterations; i++) {
        mbf.put(messageBytes);
    }
} 

我承认我通过预先计算要附加的总大小（大约 26 MB）来作弊。这对于一些现实世界的场景来说可能是不可能的。不过，您始终可以使用“足够大的附加大小进行操作，然后截断文件。

更新 2（2019）：

对于任何正在寻找现代（如 Java 11+）解决方案来解决问题的人，我会遵循 <一个href="https://stackoverflow.com/questions/7366266/best-way-to-write-string-to-file-using-java-nio/7367952?noredirect=1#comment95943399_7366266">@DodgyCodeException的建议 并使用 java.nio.file.Files.writeString：

String fileName = "/xyz/test.txt";
String messageToWrite = "My long string";
Files.writeString(Paths.get(fileName), messageToWrite, StandardCharsets.ISO_8859_1);

Answer 3

围绕 FileWriter 的 BufferedWriter 几乎肯定会比您能想到的任何 NIO 方案更快。您的代码当然不是最佳的，每次写入都有一个新的 ByteBuffer，然后在它即将超出范围时对其进行毫无意义的操作，但无论如何您的问题都是建立在误解之上的。 NIO 根本不会“将内存占用卸载到操作系统”，除非您使用 FileChannel.transferTo/From()，但在本例中您不能这样做。

注意，不要按照注释中的建议使用 PrintWriter，因为这会吞掉异常。 PW 实际上仅适用于您不关心的控制台和日志文件。

Answer 4

这是一个简短而简单的方法。它创建一个文件并写入与您的代码项目相关的数据：

private void writeToFile(String filename, String data) {
    Path p = Paths.get(".", filename);
    try (OutputStream os = new BufferedOutputStream(
        Files.newOutputStream(p, StandardOpenOption.CREATE, StandardOpenOption.APPEND))) {
        os.write(data.getBytes(), 0, data.length());
    } catch (IOException e) {
        e.printStackTrace();
    }
}

Answer 5

这对我有用：

//Creating newBufferedWritter for writing to file
BufferedWritter napiš = Files.newBufferedWriter(Paths.get(filePath));
                    napiš.write(what);
//Don't forget for this (flush all what you write to String write):                     
                    napiš.flush();