StringBuilder 的有趣 OutOfMemoryException

Question

我需要在循环中不断构建大字符串并将它们保存到数据库中，目前偶尔会产生 OutOfMemoryException。

这里基本上发生的事情是我根据一些数据使用 XmlWriter 和 StringBuilder 创建一个字符串。然后，我调用外部库中的一个方法，将该 xml 字符串转换为其他字符串。之后，转换后的字符串将保存到数据库中。对于不同的数据，整个过程会循环重复执行大约 100 次。

字符串本身并不太大（每个字符串低于 500kByte），并且在此循环期间进程内存不会增加。但是，偶尔我会在 StringBuilder.Append 中收到 OutOfMemeoryExcpetion 。有趣的是，这个异常不会导致崩溃。我可以捕获该异常并继续循环。

这是怎么回事？尽管系统中仍然有足够的可用内存，为什么我会收到 OutOfMemoryException ？这是 GC 堆问题吗？

鉴于我无法避免转换所有这些字符串，我该怎么做才能使其可靠地工作？我应该强制GC收集吗？应该将 Thread.Sleep 放入循环中吗？我应该停止使用 StringBuilder 吗？遇到 OutOfMemoryException 时是否应该简单地重试？

Answer 1

有内存，但没有可以处理字符串生成器大小的连续段。你要知道，每次字符串构建器的缓冲区太短时，它的大小都会加倍。如果您可以（在 ctor 中）定义构建器的大小，那就更好了。
当您处理完大量对象后，您可以调用GC.Collect()。

实际上，当你遇到内存不足时，它通常显示出糟糕的设计，你可以使用硬盘驱动器（临时文件）而不是内存，你不应该一次又一次地分配内存（尝试重用对象/缓冲区/...） 。

我强烈建议您阅读这篇文章 “内存不足”并非指物理内存，来自 Eric Lippert。

Answer 2

在进行数据生成时尝试重用 StringBuilder 对象。

使用之后或之前只需将 StringBuilder 的大小重置为 0 并开始追加。这将减少分配数量，并可能使内存不足的情况非常罕见。

为了说明我的观点：

void MainProgram()
{
    StringBuilder builder = new StringBuilder(2 * 1024); //2 Kb

    PerformOperation(builder);
    PerformOperation(builder);
    PerformOperation(builder);
    PerformOperation(builder);
}

void PerformOperation(StringBuilder builder)
{
    builder.Length = 0;

    //
    // do the work here builder.Append(...);
    //
}

Answer 3

根据您提到的大小，您可能会遇到 大型对象堆 ( LOH）碎片。

重用 StringBuilder 对象不是直接的解决方案，您需要掌握底层缓冲区。
如果可能，请预先计算或估计大小并预先分配。

如果您向上分配，比如 20k 左右的倍数，这会有所帮助。这可以改善重用。