使用 DataContractSerializer 序列化对象后调用 MemoryStream.ToArray() 时出现 System.OutOfMemory 异常

Question

我在这个声明中遇到间歇性的“内存不足”异常：

        return ms.ToArray();

在此方法中：

public static byte[] Serialize(Object inst)
{
    Type t = inst.GetType();
    DataContractSerializer dcs = new DataContractSerializer(t);
    MemoryStream ms = new MemoryStream();
    dcs.WriteObject(ms, inst);
    return ms.ToArray();
}

我怎样才能防止它？有更好的方法吗？

ms 的长度是 182,870,206 字节（174.4 MB），

我将其放入字节数组中，以便我可以通过压缩运行它并将其存储到磁盘。这些数据（显然）是一个自定义类的大列表，当我的 silverlight 应用程序启动时，我正在从 WCF 服务器下载该类。我将其序列化并压缩，因此它在独​​立存储中仅使用大约 6MB。下次用户从网络访问并运行 silverlight 应用程序时，我会检查时间戳，如果好的话，我只需从隔离中打开文件，解压缩它，反序列化它，然后加载我的结构。我将整个结构保留在内存中，因为应用程序主要用于操作该结构的内容。

@配置器是正确的。数组的大小太大。我通过自己的序列化器进行滚动，声明一个 [列表记录数 * 每条记录的字节数] 的字节数组，然后自己使用这样的语句直接填充它：

    Buffer.BlockCopy(
           BitConverter.GetBytes(node.myInt),0,destinationArray,offset,sizeof(int)); 
    offset += sizeof(int);

然后将其取回：

    newNode.myInt= BitConverter.ToInt32(sourceByteArray,offset); 
    offset += sizeof(int);

然后我压缩它并存储它到隔离存储。

我的大小从使用 DataContractSerializer 时的 174MB 变为使用我的时的 14MB。 压缩后，独立存储中的文件大小从 6MB 变为 1MB。

感谢 Configurator 和 Filip 的帮助。

Answer 1

我不知道你如何使用该代码，但令我印象深刻的一件事是你没有释放你的资源。例如，如果您对大量大对象多次调用 Serialize(obj) ，您最终将使用大量未直接释放的内存，但是 GC 应该正确处理这个问题，但你应该始终释放你的资源。

我已经尝试过这段代码：

public static byte[] Serialize(object obj)
{
    Type type = obj.GetType();
    DataContractSerializer dcs = new DataContractSerializer(type);

    using (var stream = new MemoryStream())
    {
        dcs.WriteObject(stream, obj);
        return stream.ToArray();
    }
}

在控制台应用程序中使用以下 Main 方法

static void Main(string[] args)
{
    var filipEkberg = new Person {Age = 24, Name = @"Filip Ekberg"};

    var obj = Serialize(filipEkberg);
}

但是，我的 byte 数组没有你的那么大。 看看这个类似的问题，您可能需要考虑检查出 protobuf-net。

了解您打算如何处理序列化数据可能也很有趣，您是否需要将其作为字节数组，或者是否可以将其以 XML 形式写入文本文件？

Answer 2

尝试序列化为流（即 FileStream）而不是字节数组。通过这种方式，您可以序列化千兆字节的数据，而不会出现 OutOfMemory 异常。

        public static void Serialize<T>(T obj, string path)
        {
            DataContractSerializer serializer = new DataContractSerializer(typeof(T));
            Stream stream = File.OpenWrite(path);
            serializer.WriteObject(stream, obj);
        }

        public static T Deserialize<T>(string path)
        {
            DataContractSerializer serializer = new DataContractSerializer(typeof(T));
            Stream stream = File.OpenRead(path);
            return (T)serializer.ReadObject(stream);
        }

Answer 3

尝试将内存流位置设置为 0，然后仅调用 ToArray()。

问候。

Answer 4

问题似乎是您期望返回一个 180MB 字节数组。这意味着框架需要找到并分配连续的 180MB 空闲内存来将流数据复制到其中，这通常非常困难 - 因此会出现 OutOfMemoryException。如果您需要继续处理这么多内存，请使用内存流本身（根据需要对其进行读取和写入）来保存缓冲区；否则，直接将其保存到文件（或您需要的任何其他位置，例如通过网络提供服务），而不是使用内存流。

我应该提到的是，内存流也有一个自己的 180MB 数组，因此也遇到了一些麻烦，并且可能在序列化期间导致 OutOfMemory - 如果您可以序列化，它可能会更好（例如，更健壮）将其保存到临时文件。您可能还想考虑更紧凑但可能可读性较差的序列化格式，例如 json、二进制序列化或协议缓冲区。

---

响应评论：要直接序列化到磁盘，请使用 FileStream 而不是 MemoryStream：

public static void Serialize(Object inst, string filename)
{
    Type t = inst.GetType();
    DataContractSerializer dcs = new DataContractSerializer(t);
    using (FileStream stream = File.OpenWrite(filename)) {
        dcs.WriteObject(ms, inst);
    }
}