ofstream::operator<<(streambuf) 是一种复制文件的缓慢方法

Question

我需要一种跨平台、无需外部库的复制文件的方式。在我的第一遍中，我想出了（省略了错误处理）：

char buffer[LEN];
ifstream src(srcFile, ios::in | ios::binary);
ofstream dest(destFile, ios::out | ios::binary);

while (!src.eof()) {
  src.read(buffer, LEN);
  dest.write(buffer, src.gcount());
}

这工作得很好 并且我确切地知道它在做什么。

然后我在 stackoverflow 上找到了一篇文章（抱歉，找不到正确的链接） now) 说我可以将上面的所有代码替换为：

dest << src.rdbuf();

这很好且紧凑，但隐藏了很多关于它正在做什么的信息。事实证明它也非常慢 因为 ofstream::operator<<(streambuf) 的实现一次移动 1 个字符（使用 snetxc()/sputc()）。

是否有我有办法让这个方法更快吗？我原来的方法有缺点吗？

更新：在 Windows 上使用运算符<<(streambuf) 效率较低。 .read()/.write() 循环看起来总是比operator<< 执行得更好。

此外，更改上面代码中缓冲区的大小不会影响对硬盘驱动器的读写大小。为此，您需要使用stream.rdbuf()->pubsetbuf()设置缓冲区。

Answer 1

我想知道你的 fstream 默认情况下是否是无缓冲的。 GCC 4.5.2 默认情况下使用内部缓冲区，但我认为标准并不要求这样做。您是否尝试过使用 pubsetbuf （见下文）为您的输入/输出流设置缓冲区。

对我的系统进行快速测试，如果我将 LEN 设置为 0（因此无缓冲），则复制 1 MB 文件需要 10 秒。使用 4k 缓冲区，不到一秒即可完成。

#include <iostream>
#include <fstream>

int main() {
  using namespace std;
  const char* srcFile = "test.in";
  const char* destFile = "test.out";

  ifstream src;
  ofstream dest;

  const int LEN=8192;
  char buffer_out[LEN];
  char buffer_in[LEN];
  if (LEN) {
    src.rdbuf()->pubsetbuf(buffer_in, LEN );
    dest.rdbuf()->pubsetbuf(buffer_out, LEN);
  } else {
    src.rdbuf()->pubsetbuf(NULL, 0 );
    dest.rdbuf()->pubsetbuf(NULL, 0);
  }
  src.open(srcFile, ios::in | ios::binary);
  dest.open(destFile, ios::out | ios::binary);
  dest << src.rdbuf();

}

Answer 2

当然，src.rdbuf 方法速度较慢。它同时进行读写。除非您复制到不同的硬盘或某种形式的网络或附加存储，否则这将比读取块然后写入块慢。

仅仅因为代码紧凑并不意味着它会更快。

---

由于您无法重载 std::filebuf 的 operator<< （因为它已经重载了），因此您无能为力。最好只使用效果相当好的方法。

Answer 3

尝试使用 C stdio API，它在许多实现中通常会更快（请参阅 此线程 对于某些数字），但并非总是如此。例如：

// Error checking omitted for expository purposes
char buffer[LEN];
FILE *src = fopen(srcFile, "rb");
FILE *dest = fopen(destFile, "wb");

int n;
while ((n = fread(buffer, 1, LEN, src)) > 0)
{
    fwrite(buffer, 1, n, dest);
}

fclose(src);
fclose(dest);