使用 C# 和 Linq 以 1000 为一组处理文档的 46,000 行

Question

我有下面的代码可以执行。 IT 文本文件中有 46,000 条记录，我需要处理这些记录并将其插入数据库。如果我直接调用它并一次循环一个，则需要很长时间。

我试图使用 LINQ 每隔 1000 行左右提取一次并将其放入一个线程中，这样我就可以一次处理 3000 行并缩短处理时间。但我无法弄清楚。所以我需要一些帮助。

任何建议都将受到欢迎。先感谢您。

var reader = ReadAsLines(tbxExtended.Text);
        var ds = new DataSet();
        var dt = new DataTable();

        string headerNames = "Long|list|of|strings|"                                  
        var headers = headerNames.Split('|');
        foreach (var header in headers)
            dt.Columns.Add(header);

        var records = reader.Skip(1);
        foreach (var record in records)
            dt.Rows.Add(record.Split('|'));

        ds.Tables.Add(dt);
        ds.AcceptChanges();

        ProcessSmallList(ds);

Answer 1

如果您正在寻找高性能，请查看 SqlBulkInsert< /a> 如果您使用的是 SqlServer。性能明显优于逐行插入。

下面是一个使用我用于项目的自定义 CSVDataReader 的示例，但任何 IDataReader 兼容的 Reader，DataRow[] 或 DataTable 可用作 WriteToServer 的参数，SQLDataReader, OLEDBDataReader等。

Dim sr As CSVDataReader
Dim sbc As SqlClient.SqlBulkCopy
sbc = New SqlClient.SqlBulkCopy(mConnectionString, SqlClient.SqlBulkCopyOptions.TableLock Or SqlClient.SqlBulkCopyOptions.KeepIdentity)
sbc.DestinationTableName = "newTable"
'sbc.BulkCopyTimeout = 0

sr = New CSVDataReader(parentfileName, theBase64Map, ","c)
sbc.WriteToServer(sr)
sr.Close()

有相当多的选项可用。 （见文章中的链接）

Answer 2

要将数据批量插入数据库，您可能应该使用该数据库引擎的批量插入实用程序（例如 SQL Server 中的 bcp）。您可能希望首先进行处理，将处理后的数据写入单独的文本文件中，然后批量插入到您关注的数据库中。

如果你确实想在线处理并在线插入，内存也是一个（小）因素，例如：

1. ReadAllLines将整个文本文件读入内存，创建46,000个字符串。这将占用相当大的内存块。尝试使用 ReadLines 代替，它返回 IEnumerable 并一次返回一行字符串。
2. 您的数据集最终可能包含所有 46,000 行，这在检测更改的行时会很慢。尝试在插入后立即 Clear() 数据集表。

我相信您观察到的缓慢实际上来自数据集。数据集对每个新记录发出一个 INSERT 语句，这意味着您不会通过一次 1,000 行或一次一行执行 Update() 来保存任何内容。您仍然有 46,000 个 INSERT 语句进入数据库，这使得速度变慢。

为了提高性能，恐怕 LINQ 在这里无法帮助您，因为瓶颈在于 46,000 个 INSERT 语句。您应该：

1. 放弃使用数据集
2. 在字符串中动态创建 INSERT 语句
3. 批量更新，例如每个命令 100-200 行
4. 使用多个 VALUE 语句动态构建 INSERT 语句
5. 运行 SQL 命令以每批插入 100-200 行

如果如果您坚持使用数据集，则不必使用 LINQ——LINQ 解决不同类型的问题。执行以下操作：

// code to create dataset "ds" and datatable "dt" omitted
// code to create data adaptor omitted

int count = 0;

foreach (string line in File.ReadLines(filename)) {
    // Do processing based on line, perhaps split it
    dt.AddRow(...);
    count++;

    if (count >= 1000) {
        adaptor.Update(dt);
        dt.Clear();
        count = 0;
    }
}

这会在一定程度上提高性能，但是您永远无法达到通过为数据库引擎使用专用批量插入实用程序（或函数调用）获得的性能。

不幸的是，使用这些批量插入功能将使您的代码难以移植到另一个数据库引擎。这是您需要做出的权衡。