在 ASP.NET 中创建巨大字符串时出现 OutOfMemoryException

Question

将大量数据导出到字符串（csv 格式）时，出现 OutOfMemoryException。解决这个问题的最佳方法是什么？该字符串将返回到 Flex 应用程序。

我要做的是将 csv 导出到服务器磁盘并返回一个 URL 给 Flex。像这样，我可以刷新写入磁盘的流。

更新：

字符串是用 StringBuilder 构建的：

StringBuilder stringbuilder = new StringBuilder();
string delimiter = ";";
bool showUserData = true;

// Get the data from the sessionwarehouse
List<DwhSessionDto> collection 
     =_dwhSessionRepository.GetByTreeStructureId(treeStructureId);

// ADD THE HEADERS
stringbuilder.Append("UserId" + delimiter);
if (showUserData)
{
    stringbuilder.Append("FirstName" + delimiter);
    stringbuilder.Append("LastName" + delimiter);
}
stringbuilder.Append("SessionId" + delimiter);
stringbuilder.Append("TreeStructureId" + delimiter);
stringbuilder.Append("Name" + delimiter);
stringbuilder.Append("Score" + delimiter);
stringbuilder.Append("MaximumScore" + delimiter);
stringbuilder.Append("MinimumScore" + delimiter);
stringbuilder.Append("ReducedScore" + delimiter);
stringbuilder.Append("ReducedMaximumScore" + delimiter);
stringbuilder.Append("Duration" + delimiter);
stringbuilder.AppendLine("Category" + delimiter);

foreach (var dwhSessionDto in collection)
{
    stringbuilder.Append(
        getPackageItemsInCsvFromDwhSessionDto(
            dwhSessionDto, delimiter, showUserData));
}

return stringbuilder.ToString();

字符串被发送回 Flex，如下所示：

var contentType = "text/csv";
string result = exportSessionService.ExportPackage(treeStructureId);
// Write the export to the response
_context.Response.ContentType = contentType;
_context.Response.AddHeader("content-disposition", 
    String.Format("attachment; filename={0}", treeStructureId + ".csv"));

// do not Omit the Vary star so the caching at the client side will be disabled
_context.Response.Cache.SetOmitVaryStar(false);
_context.Response.Cache.SetCacheability(HttpCacheability.NoCache);

if (!String.IsNullOrEmpty(result))
{
    _context.Response.Output.Write(result);
    _context.Response.Output.Close();
}
else
{
    _context.Response.Output.Write("No logs");
}

Answer 1

对我来说，最好创建一个通用处理程序页面（ashx），并将所有数据直接发送到 flex。

直接到流...

这里有 关于这个问题的好文章

Answer 2

首先，增加 RAM 需要多少钱？如今，硬件比程序员便宜。

没有更多的内容可以继续，更具体的建议是有点技巧的。但您希望避免实际将 CSV 构建为字符串，而是将其从数据源流式传输到磁盘，而不是将整个内容保存在内存中。

Answer 3

字符串是使用 StringBuilder 创建的，并使用 HttpContext.Reponse.Output.Write(result) 传回 Flex 应用程序； ——列文·卡登

那么你基本上要做的是：

StringBuilder str = new StringBuilder();
while(whatever)
{
    str.Append(thisNextLineIGuess);
}
Response.Output.Write(str.ToString());

对吗？这可能不是您的确切代码，但听起来是一个很好的近似值。

那么解决方案很简单：

while(whatever)
{
    Response.Output.Write(thisNextLineIGuess);
}

流式传输通常比缓冲整个内容并将其作为一个整体发送出去更好。

Answer 4

我要做的是将 csv 导出到服务器磁盘

听起来是正确的想法。但是您是否首先创建完整字符串？如果你逐行编写，你不应该得到OOM

编辑，在看到代码后

你只使用StringBuilder.Append(x)，所以你可以稍微重构你的代码，用替换它>_context.Response.Output.Write(x)。这可能会牺牲一点你们的分离，但这是有充分理由的。

如果您想继续使用 StringBuilder，如果您可以估计结果大小，将会有很大帮助。添加足够的余量并使用

   StringBuilder stringbuilder = new StringBuilder(estimate);

这可以节省 StringBuilder 的增长（复制），并减少 LOH 上的内存使用和碎片。

Answer 5

您的 CSV 字符串增长到超过 80000 字节并最终位于 LargeObjectHeap 上。 LOH 的垃圾收集方式与其他代不同，并且会随着时间的推移而产生碎片，例如在向服务器发出多次请求之后或者如果您使用字符串连接（顽皮！）来构建此 csv 数据。结果是您的程序保留的内存比实际使用的内存多得多，并且抛出 OutOfMemory 异常。

这种情况下的修复方法是将 csv 数据直接写入响应流，而不是字符串变量甚至 StringBuilder。这不仅可以避免大型对象堆，而且可以降低整体内存使用量，并更快地将数据推送给用户。