当前位置：文江博客话题详情

将非常大的数据集写入文本文件

发布于 2024-12-04 10:58:35 字数 161 浏览 0 评论 0原文

我有一个非常大的数据集，目前正在将其写入文本文件（IO）。它非常慢并且导致系统消耗大量资源，因为有数十或数千行。

我想知道是否有人可以推荐一种好方法来减少我系统上的负载，或者至少平滑该过程，以避免对内存资源等的需求大幅增加。我不介意这是否意味着需要更长的时间，但只要它不给机器带来太大的负载。

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

誰ツ都不明白 2024-12-11 10:58:35

你的问题几乎没有意义，但假设你正在以块的形式从数据库读取结果，你可以将它们以块的形式写入文件，以避免将整个数据集加载到内存中，就像这样：

using (var conn = new SqlConnection(SomeConnectionString))
using (var cmd = conn.CreateCommand())
{
    conn.Open();
    cmd.CommandText = "SELECT foo, bar FROM baz;";
    using (var reader = cmd.ExecuteReader())
    {
        using (var writer = new StreamWriter("result.txt"))
        {
            while (reader.Read())
            {
                var foo = reader.GetString(reader.GetOrdinal("foo"));
                var bar = reader.GetInt32(reader.GetOrdinal("bar"));
                writer.WriteLine(string.Format("{0}, {1}", foo, bar));
            }
        }
    }
}

就内存消耗而言，这将摇滚'N'滚动和性能方面当然取决于 SQL 查询的优化和 SQL 服务器的功能。

Your question hardly makes sense, but assuming you are reading the results from database in chunks you could write them in chunks to the file to avoid loading the entire dataset in memory, just like so:

using (var conn = new SqlConnection(SomeConnectionString))
using (var cmd = conn.CreateCommand())
{
    conn.Open();
    cmd.CommandText = "SELECT foo, bar FROM baz;";
    using (var reader = cmd.ExecuteReader())
    {
        using (var writer = new StreamWriter("result.txt"))
        {
            while (reader.Read())
            {
                var foo = reader.GetString(reader.GetOrdinal("foo"));
                var bar = reader.GetInt32(reader.GetOrdinal("bar"));
                writer.WriteLine(string.Format("{0}, {1}", foo, bar));
            }
        }
    }
}

In terms of memory consumption this will Rock'N'Roll and in terms of performance it would of course depend on the optimization of your SQL query and the capabilities of your SQL server.

回复收藏 0 原文

糖果控 2024-12-11 10:58:35

如果系统不依赖于此，您可以生成一个线程来执行实际写入并尝试对其进行批处理/缓冲，以最大限度地减少 CPU/内存峰值。这取决于您的具体情况，并且您没有提供太多信息:)

回复收藏 0 原文

人间不值得 2024-12-11 10:58:35

使用 StreamWriter 编写文件我最近不得不编写一个 300 万行的文件，它似乎工作得很好。确保您还在流中读取大量数据。

回复收藏 0 原文

无边思念无边月 2024-12-11 10:58:35

在这种情况下，您不应将整个数据集加载到内存中。考虑到我使用 NHibernate 作为 ORM，在这种情况下，我会小批量地从数据库读取数据，例如每个事务一次读取 100 行。这样，在任何给定时刻，我的内存将仅保存 100 行数据，而不是 100000 行数据，将这 100 行写入文件，然后再次从数据库读取接下来的 100 行并写入文件等。

查找分页。

回复收藏 0 原文