以最少的内存使用量将数据从 SQLDataReader 保存到 FileStream

Question

我使用yield 语句将SQLDataReader 包装为IEnumberable。我想用它转储到文件。我发现内存利用率相当高。想知道是否有人对如何以最小或设置内存利用率来做到这一点有任何想法。我不介意指定一个缓冲区，我只是想知道在毫无戒心的服务器上释放它之前它会是什么。

我一直在使用类似以下的东西：

class Program
{
    static void Main(string[] args)
    {

        var fs = File.Create("c:\\somefile.txt");
        var sw = new StreamWriter(fs);


        foreach (var asdf in Enumerable.Range(0, 500000000))
        {
            sw.WriteLine("adsfadsf");//Data from Reader

        }
        sw.Close();

    }
}

        string commandText = @"SELECT name FROM {0} WHERE name NOT LIKE '%@%'";

        SqlCommand sqlCommand = new SqlCommand(string.Format(commandText, list.TableName.SQLEncapsulate()),
                                               _connection);

        using (SqlDataReader sqlDataReader = sqlCommand.ExecuteReader())
        {
            while (sqlDataReader.Read())
            {
                yield return sqlDataReader["name"].ToString();
            }
        }

Answer 1

一些大的内存吞吐量不是问题，并且在处理大量数据时是不可避免的。

您读取的数据将作为新对象分配在堆上，但它们是短暂的对象，因为您只是读取数据，写入数据，然后将其丢弃。

.NET 中的内存管理不会尝试将内存使用量保持在尽可能低的水平，因为拥有大量未使用的内存并不会让计算机变得更快。当您创建和释放对象时，它们只会在堆上被遗弃一段时间，垃圾收集器最终会清理它们。

当您进行一些繁重的数据处理时，.NET 应用程序使用大量内存是正常的，并且一段时间后内存使用量会再次下降。如果系统的其他部分需要内存，垃圾收集器将进行更积极的收集以释放尽可能多的内存。