.NET SqlConnection 和 DataSet 的内存泄漏

Question

我在运行 SQL 脚本并将结果转储到文件的服务程序中遇到内存泄漏问题。运行产生许多结果行的查询后，进程的内存使用量每次都会增加 50+ MB，并且不会下降。

下面是打开连接并检索结果的代码：

using (var conn = new SqlConnection(DataSourceInfo.ConnectionString))
{
    conn.Open();

    var scmd = new SqlCommand(query_string, conn);
    scmd.CommandTimeout = 86400;

    var writer = dest.GetStream(); //the writer is disposed of elsewhere

    using (var da = new SqlDataAdapter(scmd))
    using (var ds = new DataSet())
    {
        da.Fill(ds);
        var table = ds.Tables[0];
        var rows = table.Rows;

        if (TaskInfo.IncludeColNames.Value)
        {
            object[] cols = new object[table.Columns.Count];

            for(int i = 0; i < table.Columns.Count; i++)
                cols[i] = table.Columns[i];

            LineFormatter(writer, TaskInfo.FieldDelimiter, null, false, cols);
            writer.WriteLine();
        }

        foreach(System.Data.DataRow r in rows)
        {
            var fields = r.ItemArray;

            LineFormatter(writer, TaskInfo.FieldDelimiter, TaskInfo.TextQualifier, TaskInfo.TrimFields.Value, fields);
            writer.WriteLine();
        }
    }
}

我使用 WinDbg 和 sos.dll 在执行完成后按类型列出顶部对象，并且该过程有足够的时间进行 GC：

79333470      101       166476 System.Byte[]
65245dcc      177      3897420 System.Data.RBTree`1+Node[[System.Data.DataRow, System.Data]][]
0015e680     5560      3968936      Free
79332b9c      342      3997304 System.Int32[]
6524508c   120349      7702336 System.Data.DataRow
793041d0      984     22171736 System.Object[]
7993bec4       70     63341660 System.Decimal[]
79330a00  2203630     74522604 System.String

第二列是对象的数量和第三是总规模。

不应有任何未完成的 System.Data.DataRow 对象。看起来它们以某种方式被泄露，但我不确定是如何泄露的。

我做错了什么？

注意：以前的版本使用 SqlDataReader 来检索行数据，但该方法缺乏获取列标题（据我所知）的方法，并且在 DataSet 和 SqlDatReader 之间共享数据集会在某些查询上默默失败。我不记得那个版本有内存泄漏问题。

Answer 1

除非 LineFormatter 正在做一些事情来在程序的生命周期中保留引用，否则我认为这里没有问题。

您正在对垃圾收集器的工作原理做出一些重大假设。 AFAIK，它的工作原理是基于内存压力，而不是时间。如果您真的感觉很偏执，您可以在代码中运行 GC.Collect() ，看看这是否会降低内存使用量，但我永远不会在生产代码中调用 GC.Collect() ——只是将其作为测试。

还要确保您不依赖任务管理器来告诉您 .NET 堆中保留了多少内存。您应该查看 PerfMon 中的性能计数器检查托管世界中正在发生的事情。

Answer 2

选择一个 DataRow 并使用 !gcroot 查看谁在行中保留引用。请参阅跟踪托管内存泄漏（如何查找 GC 泄漏）。

Answer 3

追踪内存泄漏的最佳方法是使用探查器，例如 Nant 或 .Net Memory Profiler。我认为两者都至少有15天的试用期，这足以了解你需要什么并诊断内存泄漏。

我使用过.Net Memory Profiler。它非常擅长准确追踪所持有的内容，以及从 AppDomain 或任何静态对象获取泄漏内存的路径。它的工作原理是运行您的应用程序并获取元数据；您拍摄快照（使用分析器），运行一个泄漏内存的操作，然后拍摄第二个快照并进行比较。您可以隔离两个快照之间的差异，并按大小排序，这样您就可以快速解决问题。非常好的工具！

Answer 4

您可能需要将 SqlCommand 放入 using 块中，或手动处置它。