如何提高我的 C++ 的速度读取分隔文本文件的程序？

Question

我向您展示执行相同作业的 C# 和 C++ 代码：读取由“|”分隔的相同文本文件并用“#”分隔的文本保存。

当我执行C++程序时，经过的时间是169秒。

更新 1：感谢 Seth（编译：cl /EHsc /Ox /Ob2 /Oi）和 GWW 更改循环外字符串 s 的位置，所用时间减少到 53 秒。我也更新了代码。

更新 2：您还有其他增强 C++ 代码的建议吗？

当我执行C#程序时，经过的时间是34秒！

问题是，与C#相比，如何提高C++的速度呢？

C++ 程序：

int main ()
{
    Timer t;
    cout << t.ShowStart() << endl;

    ifstream input("in.txt");
    ofstream output("out.txt", ios::out);
    char const row_delim = '\n';
    char const field_delim = '|';
    string s1, s2;

    while (input)
    {
        if (!getline( input, s1, row_delim ))
            break;
        istringstream iss(s1);
        while (iss)
        {
            if (!getline(iss, s2, field_delim ))
                break;
            output << s2 << "#";
        }
        output << "\n";
    }

    t.Stop();
    cout << t.ShowEnd() << endl;
    cout << "Executed in: " << t.ElapsedSeconds() << " seconds." << endl;
    return 0;
}

C# 程序：

    static void Main(string[] args)
    {
        long i;
        Stopwatch sw = new Stopwatch();
        Console.WriteLine(DateTime.Now);
        sw.Start();
        StreamReader sr = new StreamReader("in.txt", Encoding.Default);
        StreamWriter wr = new StreamWriter("out.txt", false, Encoding.Default);
        object[] cols = new object[0];  // allocates more elements automatically when filling
        string line;
        while (!string.Equals(line = sr.ReadLine(), null)) // Fastest way
        {
        cols = line.Split('|');  // Faster than using a List<>
        foreach (object col in cols)
            wr.Write(col + "#");
        wr.WriteLine();
        }
        sw.Stop();
        Console.WriteLine("Conteo tomó {0} secs", sw.Elapsed);
        Console.WriteLine(DateTime.Now);
    }

更新 3：

嗯，我必须说我对收到的帮助感到非常高兴，因为我的问题的答案已经得到满足。

我对问题的文字做了一些修改，使其更加具体，并测试了 Molbdlino 和 Bo Persson 提出的解决方案。

保留编译命令的 Seth 指示（即 cl /EHsc /Ox /Ob2 /Oi pgm.cpp）：

Bo Persson 的解决方案平均需要 18 秒才能完成执行，考虑到代码接近于我喜欢）。

Molbdlino 解决方案平均需要 6 秒，真的太神奇了！ （也感谢康斯坦丁）。

学习永远不会太晚，我从我的问题中学到了宝贵的东西。

我致以最诚挚的问候。

Answer 1

正如 Constantine 建议的那样，使用 read 一次读取大块。

我将一个 129M 文件、100,000 行、5M“条目”（每个条目 26 字节）的时间从约 25 秒缩短到约 3 秒。

#include <iostream>
#include <fstream>
#include <sstream>
#include <algorithm>

using namespace std;

int main ()
{
  ifstream input("in.txt");
  ofstream output("out.txt", ios::out);

  const size_t size = 512 * 1024;
  char buffer[size];

  while (input) {
    input.read(buffer, size);
    size_t readBytes = input.gcount();
    replace(buffer, buffer+readBytes, '|', '#');
    output.write(buffer, readBytes);
  }
  input.close();
  output.close();

  return 0;
}

Answer 2

对于中央循环来说怎么样

while (getline( input, s1, row_delim ))
{
    for (string::iterator c = s1.begin(); c != s1.end(); ++c)
        if (*c == field_delim)
            *c = '#';

    output << s1 << '\n';
}

Answer 3

在我看来，你的慢速部分是在 getline 内。我没有精确的文档来支持我的想法，但这就是我的感受。您应该尝试使用 read 来代替。因为getline有分隔符，所以它需要检查每个符号是否找到分隔符，这样看起来就像多个in操作，所以你的程序访问一个符号一个文件，然后将其写入程序的内存中，换句话说，就是磁头移动所消耗的时间。但是如果您使用read函数，您将复制符号块，然后在程序内存中使用它们，这可能会减少耗时。

再次强调一下，我没有关于 getline 及其工作原理的文档，但我确定 read ，希望它有帮助。

Answer 4

如果您知道最大行长度，您可以使用 stdio+fgets 并以 null 结尾弦，它会摇滚。

对于 C# 来说，如果它适合内存（如果需要 34 秒，则可能不适合），我很好奇如何 IO.File.WriteAllText("out.txt",IO.File.ReadAllText("in.txt") ").Replace("|","#")); 执行！

Answer 5

如果这击败了 @molbdnilo 的版本，我会感到非常惊讶，但它可能是第二快的，并且（我认为）最简单和最干净的：

#include <fstream>
#include <string>
#include <sstream>
#include <algorithm>

int main() {
    std::ifstream in("in.txt");
    std::ostringstream buffer;
    buffer << in.rdbuf();
    std::string s(buffer.str());
    std::replace(s.begin(), s.end(), '|', '#');
    std::ofstream out("out.txt");
    out << s;
    return 0;
}

根据过去使用此方法的经验，我预计它不会比一半差@molbdnilo 发布的速度——它仍然应该是 C# 版本速度的三倍左右，是 C++ 原始版本速度的十倍以上。 [编辑：我刚刚编写了一个文件生成器，在一个略多于 100 MB 的文件上，它比我预期的还要接近——我得到了 4.4 秒，而 @molbdnilo 的代码为 3.5 秒。] 合理的速度与真正的速度相结合简短的代码通常是一个相当不错的权衡。当然，这一切都取决于您有足够的物理 RAM 来将整个文件内容保存在内存中，但这通常是一个相当安全的假设。