读取 Stream 中的多个文件

Question

嘿！

如何一次读取多个文本文件？ 我想要做的是读取一系列文件并将它们全部附加到一个大文件中。目前我正在这样做：

1. 获取每个文件并使用 StreamReader 打开它
2. 在 StringBuilder 中完全读取 StreamReader 并将其附加到当前 StreamBuilder
3. 检查是否超出内存大小，如果超出则将 StringBuilder 写入文件末尾并清空 不幸的是， StrigBuilder 的

读取速度平均只有 4MB/秒。我注意到，当我在磁盘上移动文件时，速度为 40 MB/秒。 我正在考虑缓冲流中的文件并像写入一样一次性读取它们。知道我怎样才能实现这个目标吗？

更新：

 foreach (string file in System.IO.Directory.GetFiles(InputPath))
        {
            using (StreamReader sr = new StreamReader(file))
            {

                try
                {
                    txt = txt+(file + "|" + sr.ReadToEnd());
                }
                catch // out of memory exception 
                {
                    WriteString(outputPath + "\\" + textBox3.Text, ref txt);
                    //sb = new StringBuilder(file + "|" + sr.ReadToEnd());
                    txt = file + "|" + sr.ReadToEnd();
                }

            }

            Application.DoEvents();
        }

这就是我现在正在做的。

Answer 1

一方面，您需要区分流（二进制数据）和StreamReader或更一般的TextReader（文本数据）。

听起来您想创建一个 TextReader 的子类，它将接受（在其构造函数中）一堆 TextReader 参数。您不需要在这里急切地阅读任何内容...但是在您重写的Read方法中，您应该从“当前”阅读器中读取内容，直到读完为止，然后从下一个开始。请记住，Read 没有有来填充它所给出的缓冲区 - 所以你可以这样做：

while (true)
{
    int charsRead = currentReader.Read(buffer, index, size);
    if (charsRead != 0)
    {
        return charsRead;
    }
    // Adjust this based on how you store the readers...
    if (readerQueue.Count == 0)
    {
        return 0;
    }
    currentReader = readerQueue.Dequeue();
}

我强烈怀疑已经有第三方库可以做到这一点有点解复用，请注意...

Answer 2

如果您所做的只是读取文件，然后将它们连接到磁盘上的新文件，那么您可能根本不需要编写代码。使用 Windows 复制命令：

C:\> copy a.txt+b.txt+c.txt+d.txt output.txt

如果需要，您可以通过 Process.Start 调用此命令。

当然，这是假设您没有对文件或其内容执行任何自定义逻辑。

Answer 3

这应该很快（但它会将整个文件加载到内存中，因此可能无法满足所有需求）：

string[] files = { @"c:\a.txt", @"c:\b.txt", @"c:\c.txt" };

FileStream outputFile = new FileStream(@"C:\d.txt", FileMode.Create);

using (BinaryWriter ws = new BinaryWriter(outputFile))
{
    foreach (string file in files)
    {
        ws.Write(System.IO.File.ReadAllBytes(file));
    }
}