如何从 .NET 中的内存映射文件快速读取字节？

Question

在某些情况下，MemoryMappedViewAccessor 类并不能有效地读取字节；我们得到的最好的是通用的ReadArray，它是所有结构的路由，并且当您只需要字节时涉及几个不必要的步骤。

可以使用MemoryMappedViewStream，但因为它基于Stream，所以您需要首先寻找正确的位置，然后读取操作本身有更多不必要的步骤。

考虑到它应该只是要读取的地址空间的特定区域，是否有一种快速、高性能的方法可以从 .NET 中的内存映射文件中读取字节数组？

Answer 1

该解决方案需要不安全的代码（使用 /unsafe 开关编译），但直接获取指向内存的指针；然后可以使用Marshal.Copy。这比 .NET 框架提供的方法快得多。

    // assumes part of a class where _view is a MemoryMappedViewAccessor object

    public unsafe byte[] ReadBytes(int offset, int num)
    {
        byte[] arr = new byte[num];
        byte *ptr = (byte*)0;
        this._view.SafeMemoryMappedViewHandle.AcquirePointer(ref ptr);
        Marshal.Copy(IntPtr.Add(new IntPtr(ptr), offset), arr, 0, num);
        this._view.SafeMemoryMappedViewHandle.ReleasePointer();
        return arr;
    }

    public unsafe void WriteBytes(int offset, byte[] data)
    {
        byte* ptr = (byte*)0;
        this._view.SafeMemoryMappedViewHandle.AcquirePointer(ref ptr);
        Marshal.Copy(data, 0, IntPtr.Add(new IntPtr(ptr), offset), data.Length);
        this._view.SafeMemoryMappedViewHandle.ReleasePointer();
    }

Answer 2

我知道这是一个较旧的问题，已得到解答，但我想补充我的两分钱。

我使用已接受的答案（使用不安全代码）和 MemoryMappedViewStream 方法进行了测试，以读取 200MB 字节数组。

MemoryMappedViewStream

        const int MMF_MAX_SIZE = 209_715_200;
        var buffer = new byte[ MMF_VIEW_SIZE ];

        using( var mmf = MemoryMappedFile.OpenExisting( "mmf1" ) )
        using( var view = mmf.CreateViewStream( 0, buffer.Length, MemoryMappedFileAccess.ReadWrite ) )  
        {
            if( view.CanRead )
            {
                Console.WriteLine( "Begin read" );
                sw.Start( );
                view.Read( buffer, 0, MMF_MAX_SIZE );
                sw.Stop( );
                Console.WriteLine( $"Read done - {sw.ElapsedMilliseconds}ms" );
            }
        }

我对每种方法运行了 3 次测试，并收到了以下次数。

MemoryMappedViewStream：

1. 483ms
2. 501ms
3. 490ms

不安全方法

1. 531ms
2. 517ms
3. 523ms

从少量测试来看，MemoryMappedViewStream 具有非常轻微的优势。考虑到这一点，对于任何阅读这篇文章的人来说，我都会选择 MemoryMappedViewStream。

Answer 3

请参阅此错误报告：无法确定 MemoryMappedViewAccessor 使用的内部偏移量 - 使得SafeMemoryMappedViewHandle 属性不可用。

从报告中：

MemoryMappedViewAccessor 有一个 SafeMemoryMappedViewHandle 属性，该属性返回 MemoryMappedView 内部使用的 ViewHandle，但没有任何属性返回 MemoryMappedView 使用的偏移量。

由于 MemoryMappedView 正在页面对齐 MemoryMappedFile.CreateViewAccessor(offset,size) 中请求的偏移量，因此在不知道偏移量的情况下无法使用 SafeMemoryMappedViewHandle 进行任何有用的操作。

请注意，我们实际上想要做的是使用 AcquirePointer(ref byte*pointer) 方法来允许运行一些基于快速指针（可能是非托管）的代码。我们可以接受页面对齐的指针，但必须能够找出距最初请求的地址的偏移量。

Answer 4

这个解决方案的一个安全版本是：

var file = MemoryMappedFile.CreateFromFile(...);
var accessor = file.CreateViewAccessor();
var bytes = new byte[yourLength];

// assuming the string is at the start of the file
// aka position: 0
// https://msdn.microsoft.com/en-us/library/dd267761(v=vs.110).aspx
accessor.ReadArray<byte>(
    position: 0,      // The number of bytes in the accessor at which to begin reading
    array: bytes,     // The array to contain the structures read from the accessor
    offset: 0,        // The index in `array` in which to place the first copied structure
    count: yourLength // The number of structures of type T to read from the accessor.
);

var myString = Encoding.UTF8.GetString(bytes);

我已经测试过这个，它确实有效。我无法评论它的性能，也无法评论它是否是最好的整体解决方案。

Answer 5

只是想与 long l_offset 共享一个版本（因此可以读取\写入大于 int32 最大大小的文件）：

public static unsafe byte[] ReadBytes(long l_offset, int i_read_buf_size, MemoryMappedViewAccessor mmva)
    {
        byte[] arr = new byte[i_read_buf_size];
        byte* ptr = (byte*)0;
        mmva.SafeMemoryMappedViewHandle.AcquirePointer(ref ptr);
        IntPtr p = new(ptr);
        Marshal.Copy(new IntPtr(p.ToInt64() + l_offset), arr, 0, i_read_buf_size);
        mmva.SafeMemoryMappedViewHandle.ReleasePointer();
        return arr;
    }