一切都一样，在 C++ 中将数据输出到磁盘的最快方法是什么？

Question

我正在运行的模拟代码很大程度上受 CPU 速度的限制。我对将数据输入/输出到用户界面不感兴趣，只需在计算时将其保存到磁盘即可。

减少开销的最快解决方案是什么？ iostreams？打印？我之前读过 printf 更快。这取决于我的代码吗？如果不进行分析就不可能得到答案吗？

这将在 Windows 中运行，输出数据需要采用文本格式，制表符/逗号分隔，并针对大多数浮点值提供格式/精度选项。

Answer 1

构建可以顺序写入的（大型）数据块并使用异步 IO。

准确的分析会很痛苦，请阅读一些有关该主题的论文：scholar.google.com。

Answer 2

我自己没有使用过它们，但我听说内存映射文件为操作系统提供了最佳的优化机会。

编辑：相关问题和关于内存映射文件的维基百科文章 - 都提到了性能优势。

Answer 3

我的想法是你正在解决错误的问题。为什么要写出大量文本格式的数据？如果是因为您希望它是人类可读的，请编写一个快速浏览器程序来即时读取二进制格式的数据 - 这样模拟应用程序可以快速写出二进制数据，而浏览器可以完成格式化数据的繁重工作需要时提供数据。如果是因为您正在使用某些统计包来读取和分析文本数据，那么请编写一个输入二进制数据的包。

Answer 4

Scott Meyers 的《更高效的 C++》第 23 点“考虑替代库”建议，如果您更看重速度而不是安全性和可扩展性，请使用 stdio 而不是 iostream。值得检查一下。

Answer 5

最快的方法是对于在其典型目标操作系统和硬件上运行的特定应用程序而言最快的方法。唯一明智的做法是尝试多种方法并计时。您可能不需要完整的个人资料，并且练习应该只需要几个小时。我将按以下顺序进行测试：

• 正常的 C++ 流 I/O
• 使用 ostream::write() 的正常流 I/
• O 使用 CI/O 库
• 使用 write() 等系统调用
• 异步 I/O

我会停止当我找到一个足够快的解决方案时。

Answer 6

文本格式意味着它是供人类消费的。人类的阅读速度远远低于任何合理的输出方式的速度。有一个地方是矛盾的。我怀疑“输出必须是文本格式”。

因此，我相信正确的方法是输出二进制文件，并提供单独的查看器将单个条目转换为可读文本。查看器中的格式设置只需与人们可以阅读的速度一样快。

Answer 7

将文件映射到内存（即使用 内存映射文件），然后只需 memcopy-ing 数据是一种非常快速的读/写方式。

您可以使用多个线程/核心写入数据，操作系统/内核将使用与虚拟内存相同的例程将页面同步到磁盘，可以期望对其进行优化，更多或较少的。

主要是，执行此操作时，内存中应该有很少的额外副本/缓冲区。一旦页面被写入，写入就会被中断捕获并添加到磁盘队列中。

Answer 8

以二进制模式打开文件，并将“未格式化”的数据写入光盘。

fstream myFile;
...
myFile.open ("mydata.bin", ios:: in | ios::out | ios::binary);
...
class Data {
    int      key;
    double   value;
    char[10] desc;
};

Data x;

myFile.seekp (location1);
myFile.write ((char*)&x, sizeof (Data));

编辑：OP 添加了“输出数据需要采用文本格式，无论是制表符还是逗号分隔。”约束。

如果您的应用程序受 CPU 限制，则输出格式化是您不需要的开销。二进制数据的写入和读取速度比 ascii 快得多，在光盘上更小（例如，用二进制写入的总字节数比用 ascii 少），并且因为它更小，所以在网络上移动速度更快（包括安装在网络上的网络）。文件系统）。所有指标都表明二进制是一种良好的整体优化。

运行后可以使用一个简单的实用程序查看二进制数据，该实用程序会将数据转储为所需的任何格式的 ascii。我鼓励将一些版本信息添加到生成的二进制数据中，以确保可以在转储实用程序中处理数据格式的更改。

从二进制转向 ascii，然后争论 printf 与 iostream 的相对性能可能不是您时间的最佳利用方式。

Answer 9

最快的方法是基于完成的异步 IO。

通过向操作系统提供一组要写入的数据（在调用返回时实际上尚未写入这些数据），操作系统可以对其进行重新排序以优化写入性能。

用于执行此操作的 API 是特定于操作系统的：在 Linux 上，其称为 AIO；在 Windows 上，其称为完成端口。

Answer 10

一种快速方法是使用双缓冲和多线程（至少两个）。

其中一个线程负责将数据写入硬盘。此任务检查缓冲区，如果不为空（或可能有其他规则），则开始写入硬盘驱动器。

另一个线程将格式化文本写入缓冲区。

硬盘驱动器的一个性能问题是加快速度并将磁头定位到正确位置所需的时间。为了避免这种情况发生，目标是不断写入硬盘，使其不会停止。这很棘手，并且可能涉及程序范围之外的内容（例如同时运行的其他程序）。写入硬盘的数据块越大越好。

另一个难题是在硬盘驱动器上寻找空插槽来放置数据。有碎片的硬盘驱动器会比格式化或碎片整理的驱动器慢。

如果可移植性不是问题，您可以检查操作系统中是否有一些对硬盘执行块写入的 API。或者您可以继续深入并使用直接写入驱动器的 API。

您可能还希望您的程序更改其优先级，以便它成为正在运行的最重要的任务之一。