智能文件复制算法（与操作系统无关）

Question

我正在尝试创建一个快速且有点智能的文件复制算法（用 C# 编写，但与平台无关）。

我的目标：

• 我不想使用任何特定于平台的代码（没有pinvokes或任何东西）
• 我想利用多个核心，但这看起来很愚蠢，因为同时读/写看起来会更慢，对吗？ （如果我错了，请纠正我）
• 我想跟踪复制进度，因此 File.Copy 不是一个选项

我想出的代码没什么特别的，我正在寻找加快速度的方法：

public bool Copy(string sourcePath, string destinationPath, ref long copiedSize, long totalSize, int fileNum, int fileCount, CopyProgressCallback progressCallback)
{
    FileStream source = File.OpenRead(sourcePath);
    FileStream dest = File.Open(destinationPath, FileMode.Create);

    int size = (int)(1024 * 256); // 256KB
    int read = 0;

    byte[] buffer = new byte[size];

    try
    {
        while ((read = source.Read(buffer, 0, size)) != 0)
        {
            dest.Write(buffer, 0, read);

            copiedSize += read;
            progressCallback(copiedSize, totalSize, fileNum, fileCount, j);
        }

        return true;
    }
    catch
    {
        // No I don't care about exception reporting.       
        return false;           
    }
    finally
    {
        source.Close();
        dest.Close();
    }
}

我尝试过但没有成功的事情：

• 随着我的进展增加缓冲区（速度损失和 CD/DVD 的缓存问题）
• 尝试了“CopyFileEx”-pinvokes 减慢了复制速度
• 尝试了许多不同的缓冲区大小，似乎 256KB最好的解决方案
• 尝试边写边读 - 放慢速度
• 更改“progressCallback”以在 1 秒后更新 UI（使用 Stopwatch 类） - 这显着提高了速度

任何欢迎建议 - 我会更新当我尝试新东西时的代码/东西。建议不要 不必是代码——只是想法。

Answer 1

如果没有多个读/写头（这可能意味着多个磁盘），多个核心就没有多大用处。由于您的问题与平台无关，我随时建议使用并行 I/O 系统，让所有这些核心完成自己的工作而不是闲置。

如果您将自己限制为具有单个读/写臂和每个表面一个磁头的单个磁盘，则需要最大限度地减少臂的移动。您可能想要从一个表面上的磁道读取数据并写入另一个表面上的同一磁道。或者您可能想要从一个表面读取一个扇区，然后将其复制到同一表面上同一磁道上的另一个扇区。

然而，所有这些都涉及非常低级的操作（对我来说它们看起来非常低级）。通用计算的整体趋势似乎是不断地为程序员提供易于使用的工具，但代价是无法轻松访问低级操作。您为自己设定的任务大约是这样的：

欺骗 C# 以我想要的方式访问磁盘，而不是以它想要的方式。

祝你好运:-)

马克

PS 您提到的 CD/DVD 表明，尽管您没有声明，您正在尝试从磁盘到 CD/DVD 进行快速复制。如果是这样，您可能会考虑首先进行磁盘到磁盘复制，让您的复印机恢复工作，然后将副本从副本复制到另一个核心上的 CD/DVD。

Answer 2

你的速度可能会受到很多因素的影响，文件系统的簇大小、文件碎片、磁盘接口类型（ide/sata/等）、其他进程的其他磁盘操作等等。

每台计算机和操作参数都会有差异，从而产生不同的结果，一次代码更改可能会提高此处的速度，但可能会降低那里的速度。

对于小于 100mb 的文件，可能有一组默认设置，否则运行一组快速测试来预配置设置。使用一组缓冲区大小运行读/写速度测试，检测源路径和目标路径是否位于不同的磁盘上（如果是，则使副本成为多线程；一个读取，另一个写入）。仅在重大进度更新时加注/回调（进度已更改约+3%）。