如何在 C# 中使用 FILE_FLAG_NO_BUFFERING 调用 win32 CreateFile api 禁用磁盘缓存

Question

大家，我每秒有很多文件写入磁盘，我想禁用磁盘缓存以提高性能，我谷歌搜索找到解决方案：win32 CreateFile method with FILE_FLAG_NO_BUFFERING and 如何清空/刷新 Windows READ 磁盘缓存C#？。

我编写了一些代码来测试是否可以工作：

const int FILE_FLAG_NO_BUFFERING = unchecked((int)0x20000000);

[DllImport("KERNEL32", SetLastError = true, CharSet = CharSet.Auto, BestFitMapping = false)]
static extern SafeFileHandle CreateFile(
      String fileName,
      int desiredAccess,
      System.IO.FileShare shareMode,
      IntPtr              securityAttrs,
      System.IO.FileMode  creationDisposition,
      int                 flagsAndAttributes,
      IntPtr              templateFile);

static void Main(string[] args)
{
    var handler = CreateFile(@"d:\temp.bin", (int)FileAccess.Write, FileShare.None,IntPtr.Zero, FileMode.Create, FILE_FLAG_NO_BUFFERING, IntPtr.Zero);
    var stream = new FileStream(handler, FileAccess.Write, BlockSize);//BlockSize=4096
    byte[] array = Encoding.UTF8.GetBytes("hello,world");
    stream.Write(array, 0, array.Length);
    stream.Close();
}

运行该程序时，应用程序出现异常：IO 操作将不起作用。很可能文件会变得太长或者句柄没有打开以支持同步IO操作

稍后，我找到了这篇文章当您创建带有约束的对象时，您必须确保使用该对象的每个人都了解这些约束，但是我无法完全理解，所以我更改我的代码来测试：

var stream = new FileStream(handler, FileAccess.Write, 4096);
byte[] ioBuffer = new byte[4096];
byte[] array = Encoding.UTF8.GetBytes("hello,world");
Array.Copy(array, ioBuffer, array.Length);
stream.Write(ioBuffer, 0, ioBuffer.Length);
stream.Close();

它运行正常，但我只想“hello，world”字节而不是全部。我尝试将块大小更改为1或其他整数（不是512的倍数）得到相同的错误。i也尝试 win32 WriteFile api 也得到同样的错误。有人可以帮助我吗？

Answer 1

无缓冲模式下的 CreateFile() 函数强加

现在，仅当您在代码中使用缓冲时，才可以通过这种方式改进文件写入。如果您想在不缓冲的情况下写入 10 个字节，那么无缓冲模式将无济于事。

Answer 2

如果我正确理解您的要求，这就是我首先尝试的：

创建一个队列，其中包含内存中的数据和磁盘上的目标文件的对象。
您首先开始将文件写入内存，然后在另一个线程上开始遍历队列，打开基于 io-completion 端口的文件流句柄（isAsync=True） - 只是不要打开太多文件，因为在某些时候您'由于缓存垃圾等原因，您可能会开始失去性能。您需要进行分析以了解您的系统和 SSD 的最佳数量。

每次打开后，您可以使用异步文件流方法 Begin... 开始将数据从内存写入文件。 isAsync 提出了一些要求，因此这可能不像正常使用文件流那样容易在每个极端情况下工作。

使用另一个线程创建文件并使用异步 API 另一个线程写入文件是否会有任何改进，只有在创建/打开文件可能会阻塞的情况下才可能出现这种情况。 SSD 在内部执行各种操作以保持对数据的快速访问，因此当您开始执行此类极端性能的操作时，SSD 控制器之间可能存在明显差异。如果控制器驱动程序没有很好地实现，操作系统/Windows 也可能会开始感觉缓慢或冻结。硬件基准测试网站并没有真正强调这种特殊的情况（例如，尽快创建 x KB 并将其写入数百万个文件），并且毫无疑问，有些驱动程序比其他驱动程序慢。