如何在 C++ 中从流执行快速格式化输入？

Question

情况是：有一个文件有14 294 508个无符号整数和13 994 397个浮点数（需要读取double）。 文件总大小约为 250 MB。

使用 std::istream 大约需要 30 秒。 将数据从文件读取到内存（仅复制字节，无需格式化输入）要快得多。 有没有什么办法可以在不改变文件格式的情况下提高阅读速度呢？

Answer 1

你需要使用STL风格的i/o吗？ 您必须查看这篇来自专家之一。 它是由 Dietmar Kuhl 开发的专用 iostream。

我不想建议这样做，但请看一下 C 格式的 I/O 例程。 另外，你是一口气读完整个文件吗？

Answer 2

您可能还想查看 Matthew Wilson 的 FastFormat 库：

• http://www.fastformat.org/

我还没有使用过它，但他提出了一些令人印象深刻的主张，而且我发现他的许多其他作品值得研究和使用（有时也值得窃取）。

Answer 3

你还没有指定格式。 您可以对其进行内存映射，或者可以读取非常大的块并以批处理算法进行处理。

另外，您还没有说您是否确定要读取该文件的文件和进程将位于同一平台上。 如果大端进程写入它而小端进程读取它，反之亦然，则它将不起作用。

Answer 4

与“通用”读取方法相比，自行解析输入（atoi 和 atof）通常可以将速度提高至少两倍。

Answer 5

快速而肮脏的方法是将文件转储到标准 C++ 字符串中，然后在其上使用 stringstream：

#include <sstream>
// Load file into string file_string
std::stringstream s( file_string );
int x; float y;
s >> x >> y;

这可能不会给您带来太大的性能改进（通过避免 iostreams，您将获得更大的加速），但它是很容易尝试，而且可能会足够快。