将二进制文件读入结构体

Question

我正在尝试使用 C# 读取二进制数据。 我拥有有关我想要读取的文件中的数据布局的所有信息。 我能够“逐块”读取数据，即将前 40 个字节的数据转换为字符串，然后获取接下来的 40 个字节。

由于数据至少有三个略有不同的版本，我想将数据直接读入结构中。 感觉比“逐行”阅读要正确得多。

我尝试了以下方法，但没有效果：

StructType aStruct;
int count = Marshal.SizeOf(typeof(StructType));
byte[] readBuffer = new byte[count];
BinaryReader reader = new BinaryReader(stream);
readBuffer = reader.ReadBytes(count);
GCHandle handle = GCHandle.Alloc(readBuffer, GCHandleType.Pinned);
aStruct = (StructType) Marshal.PtrToStructure(handle.AddrOfPinnedObject(), typeof(StructType));
handle.Free();

该流是一个打开的 FileStream，我已开始从中读取数据。 使用 Marshal.PtrToStructure 时出现 AccessViolationException。

该流包含的信息比我试图读取的信息多，因为我对文件末尾的数据不感兴趣。

结构定义如下：

[StructLayout(LayoutKind.Explicit)]
struct StructType
{
    [FieldOffset(0)]
    public string FileDate;
    [FieldOffset(8)]
    public string FileTime;
    [FieldOffset(16)]
    public int Id1;
    [FieldOffset(20)]
    public string Id2;
}

示例代码已从原始代码更改为使该问题更短。

如何将二进制数据从文件读取到结构中？

Answer 1

这是我正在使用的。
这对我阅读可移植可执行格式来说很成功。
它是一个通用函数，所以 T 是你的 结构类型。

public static T ByteToType<T>(BinaryReader reader)
{
    byte[] bytes = reader.ReadBytes(Marshal.SizeOf(typeof(T)));

    GCHandle handle = GCHandle.Alloc(bytes, GCHandleType.Pinned);
    T theStructure = (T)Marshal.PtrToStructure(handle.AddrOfPinnedObject(), typeof(T));
    handle.Free();

    return theStructure;
}

Answer 2

我没有看到你的代码有任何问题。

就在我的脑海中，如果你尝试手动执行怎么办？ 有效吗？

BinaryReader reader = new BinaryReader(stream);
StructType o = new StructType();
o.FileDate = Encoding.ASCII.GetString(reader.ReadBytes(8));
o.FileTime = Encoding.ASCII.GetString(reader.ReadBytes(8));
...
...
...

还可以尝试

StructType o = new StructType();
byte[] buffer = new byte[Marshal.SizeOf(typeof(StructType))];
GCHandle handle = GCHandle.Alloc(buffer, GCHandleType.Pinned);
Marshal.StructureToPtr(o, handle.AddrOfPinnedObject(), false);
handle.Free();

在 BinaryReader 中使用 buffer[] 而不是从 FileStream 读取数据，看看是否仍然遇到 AccessViolation 异常。

我没有运气使用
BinaryFormatter，我想我必须这样做
有一个完整的结构匹配
文件的内容准确无误。

这是有道理的，BinaryFormatter 有自己的数据格式，与您的完全不兼容。

Answer 3

直接读入结构是邪恶的——许多 C 程序已经失败，因为不同的字节顺序、不同的编译器实现的字段、打包、字大小......

你最好逐字节地序列化和反序列化。 如果您想要或只是习惯 BinaryReader，请使用内置的东西。

Answer 4

我有结构：

[StructLayout(LayoutKind.Explicit, Size = 21)]
    public struct RecordStruct
    {
        [FieldOffset(0)]
        public double Var1;

        [FieldOffset(8)]
        public byte var2

        [FieldOffset(9)]
        [MarshalAs(UnmanagedType.ByValTStr, SizeConst = 12)]
        public string String1;
    }
}

并且我收到“不正确对齐或被非对象重叠”。
基于此我发现：
https://social.msdn.microsoft.com/Forums/vstudio/en-US/2f9ffce5-4c64-4ea7-a994-06b372b28c39/strange-issue-with-layoutkindexplicit?forum=clr

好的。 我想我明白这里发生了什么。 似乎是
问题与数组类型（它是一个对象）有关
type）必须存储在内存中的 4 字节边界处。 然而，什么
你真正想做的是分别序列化 6 个字节。

我认为问题在于 FieldOffset 和序列化之间的混合
规则。 我认为 structlayout.sequential 可能适合你，
因为它实际上并没有修改内存中的表示
结构。 我认为 FieldOffset 实际上是修改内存中的
类型的布局。 这会导致问题，因为 .NET 框架
要求对象引用在适当的边界上对齐（它
似乎）。

因此，我的结构被定义为显式：

[StructLayout(LayoutKind.Explicit, Size = 21)]

因此我的字段已指定，

[FieldOffset(<offset_number>)]

但是当您将结构更改为顺序结构时，您可以摆脱这些偏移量，并且错误将会消失。 就像是：

[StructLayout(LayoutKind.Sequential, Size = 21)]
    public struct RecordStruct
    {
        public double Var1;

        public byte var2;

        [MarshalAs(UnmanagedType.ByValTStr, SizeConst = 12)]
        public string String1;
    }
}

Answer 5

我没有使用 BinaryFormatter，我想我必须有一个与文件内容完全匹配的完整结构。 我意识到最终我对文件内容并不感兴趣，所以我采用了将部分流读取到字节缓冲区中的解决方案，然后使用

Encoding.ASCII.GetString()

字符串和

BitConverter.ToInt32()

整数将其转换。

稍后我需要能够解析更多文件，但对于这个版本，我只用了几行代码。

Answer 6

尝试这个：

using (FileStream stream = new FileStream(fileName, FileMode.Open))
{
    BinaryFormatter formatter = new BinaryFormatter();
    StructType aStruct = (StructType)formatter.Deserialize(filestream);
}

Answer 7

问题是结构中的字符串。 我发现像 byte/short/int 这样的封送类型不是问题； 但是当您需要编组为复杂类型（例如字符串）时，您需要结构显式模仿非托管类型。 您可以使用 MarshalAs 属性来执行此操作。

对于您的示例，以下内容应该有效：

[StructLayout(LayoutKind.Explicit)]
struct StructType
{
    [FieldOffset(0)]
    [MarshalAs(UnmanagedType.ByValTStr, SizeConst = 8)]
    public string FileDate;

    [FieldOffset(8)]
    [MarshalAs(UnmanagedType.ByValTStr, SizeConst = 8)]
    public string FileTime;

    [FieldOffset(16)]
    public int Id1;

    [FieldOffset(20)]
    [MarshalAs(UnmanagedType.ByValTStr, SizeConst = 66)] //Or however long Id2 is.
    public string Id2;
}

Answer 8

正如罗尼所说，我会使用 BinaryReader 并单独读取每个字段。 我找不到包含此信息的文章的链接，但据观察，如果结构包含的字段少于 30-40 个左右，则使用 BinaryReader 读取每个单独的字段可能比 Marshal.PtrToStruct 更快。 当我找到该文章时，我会发布该文章的链接。

该文章的链接位于：http://www. codeproject.com/Articles/10750/Fast-Binary-File-Reading-with-C

当编组结构体数组时，PtrToStruct 更快地占据上风，因为您可以将字段计数视为字段 *数组长度。