C# 紧凑框架 - 带有 XmlSerializer.Serialize 的 OutOfMemoryException

Question

我正在尝试序列化集合中的大量对象（20,000 个）对象。 我正在使用以下代码执行此操作：

XmlSerializer xs = new XmlSerializer(deserialized.GetType());
StringWriter sw;
using (sw = new StringWriter())
{
   xs.Serialize(sw, deserialized);   // OutOfMemoryException here
}

string packet = sw.ToString();
return packet;

是否有更好的方法来执行此操作，或者我做的事情明显错误？

Answer 1

看起来它应该可以工作，但是CF确实有不可预测的局限性。

xml 是必需的吗？ 我不记得尝试过使用 20k 记录，但另一种选择可能是尝试使用不同的序列化程序 - 例如，protobuf-net 适用于 CF2。 我不能保证它会起作用，但可能值得一试。

（特别是，我目前正在重构代码以尝试解决一些额外的 CF 中的“泛型”限制 - 但除非您有一个非常复杂的对象模型，否则这不会影响您）。

---

显示用法的示例； 请注意，此示例对于 XmlSerializer 也适用，但 protobuf-net 仅使用 20% 的空间（如果您认为字符在内存中每个字符都是两个字节，则使用 10% 的空间）：

using System;
using System.Collections.Generic;
using System.IO;
using System.Xml.Serialization;
using ProtoBuf;

[Serializable, ProtoContract]
public class Department
{
    [ProtoMember(1)]
    public string Name { get; set; }
    [ProtoMember(2)]
    public List<Person> People { get; set; }
}

[Serializable, ProtoContract]
public class Person
{
    [ProtoMember(1)]
    public int Id { get; set; }
    [ProtoMember(2)]
    public string Name { get; set; }
    [ProtoMember(3)]
    public DateTime DateOfBirth { get; set; }
}


static class Program
{
    [MTAThread]
    static void Main()
    {
        Department dept = new Department { Name = "foo"};
        dept.People = new List<Person>();
        Random rand = new Random(123456);
        for (int i = 0; i < 20000; i++)
        {
            Person person = new Person();
            person.Id = rand.Next(50000);
            person.DateOfBirth = DateTime.Today.AddDays(-rand.Next(2000));
            person.Name = "fixed name";
            dept.People.Add(person);
        }

        byte[] raw;
        using (MemoryStream ms = new MemoryStream())
        {
            Serializer.Serialize(ms, dept);
            raw = ms.ToArray(); // 473,399 bytes
        }

        XmlSerializer ser = new XmlSerializer(typeof(Department));
        StringWriter sw = new StringWriter();
        ser.Serialize(sw, dept);
        string s = sw.ToString(); // 2,115,693 characters
    }
}

让我知道您是否需要更多帮助 - 我可以整天谈论这个主题；-p
请注意，它可以仅通过标准 xml 属性 ([XmlElement(Order=1)]) 工作 - 我使用了更具体的 [ProtoMember(1)] 等为了清楚起见。 这还允许对序列化进行细粒度控制（之字形与双补、分组与长度前缀等）。

Answer 2

您有关于应用程序内存消耗的任何指标吗？ 我假设您在 WM 上运行，这意味着每个进程的地址空间限制为 32MB。 对于大型 XML，您可能实际上已经耗尽了内存。

Answer 3

也许您可以考虑保留单个对象（而不是将集合保留为一个大块）。 如果是这样，您可能想使用我在 codeplex 上创建的 NFileStorage 项目； nfilestorage.codeplex.com（这个不是专门为 CF 制作的，所以无法判断它是否与那个兼容）...

祝你好运，
格特-扬