ADO.NET 的库可将 .csv 文件中的数据快速批量插入数据库？

Question

我想知道您是否可以推荐任何用于处理数据库的高级 ADO.NET 库。

我发现 LINQ-to-Entities 非常适合从数据库中提取数据，但对于将数据插入数据库来说一点用处都没有。它缺少快速批量插入、重复项剔除等功能，以及大多数可以通过纯 SQL 实现的高级功能。

那么：您能否推荐一些提供 LINQ-to-Entities 所缺少的高级功能的 ADO.NET 库？

Answer 1

ADO.net SqlBulkCopy 类可以快速、批量地将记录上传到表中：

    DataTable dt = s_EmptyUploadTable.Copy();
    foreach (var itm in yourList) {
        DataRow row = dt.NewRow();
        row["Field1"] = itm.Field1;
        row["Field2"] = itm.Field2;
        dt.Rows.Add(row);
    }
    using (SqlConnection cn = new SqlConnection(yourConnectionString)) {
        cn.Open();
        using (SqlBulkCopy bulkCopy = new SqlBulkCopy(cn)) {
            bulkCopy.DestinationTableName = "dbo.YourActualSQLServerTableName";
            bulkCopy.WriteToServer(dt);
        }
        cn.Close();
    }

Answer 2

您可以使用 LINQ Entity Data Reader 将 IEnumerable 列表写入数据库，并在后面使用 SQL Bulk Copy场景。您可以使用此库将 LINQ 查询的结果直接批量上传到数据库中，因为 LINQ 查询的结果是 IEnumerable。

由于存在 LINQ-to-everything 适配器，因此您可以使用 LINQ to CSV 库等技巧 使用 LINQ 查询从 .csv 文件中获取数据，然后使用 LINQ 实体数据读取器 将此数据直接批量写入数据库。

案例研究：

问题：将 .csv 文件快速读入数据库。与 SQL 数据库的连接是通过 C# 的 LINQ-to-Entitys 实现的。

解决方案1：使用LINQ to CSV库，构建一个 LINQ 查询来提取所需的数据，然后使用标准 LINQ 到实体调用（ctx.AddObject()、ctx.SaveChanges() 等）将其写入。花费的时间：20,000 条记录30 秒，因为 LINQ 最终为每条记录生成一个查询（慢！！！！！）。

解决方案2：使用LINQ to CSV库，构造LINQ 查询将所需数据提取到 IEnumerable 中，请使用 LINQ Entity Data Reader 批量处理将此数据直接写入目标数据表。所用时间：20,000 条记录3 秒。

解决方案 3：使用带有 SQL“批量复制”的存储过程。所用时间：20,000 条记录2 秒。然而，这个解决方案非常脆弱，因为它依赖于存储过程，并且 SQL 批量复制与某些 .csv 文件格式不兼容。此方法还要求您在实际目标表和 .csv 文件之间使用临时表，以处理文件格式问题并帮助规范化。

并且，这是解决方案#2 的源代码：

static void WriteCSVtoSQLtable()
{
  // Step 1: Read .csv file into IEnumerable using LINQ-to-CSV class.

  // This section requires "LINQtoCSV" class as described at http://www.codeproject.com/KB/linq/LINQtoCSV.asp

  string inputFilePath = @"T:\x.csv";

  CsvFileDescription inputFileDescription = new CsvFileDescription
  {
    SeparatorChar = ',',
    FirstLineHasColumnNames = true
  };

  IEnumerable<MyCustomColumnMappingClass> csvChains = cc.Read<MyCustomColumnMappingClass>(inputFilePath, inputFileDescription);

  // Step 2: Now write into the target table on SQL Server.

  // This section requires "EntityDataReader" class described at http://archive.msdn.microsoft.com/LinqEntityDataReader.
  public static string dbSqlConnectionString = @";Data Source=(local);Initial Catalog=PhiEngine;Integrated Security=True;MultipleActiveResultSets=True";

  SqlConnection dbSql(dbSqlConnectionString);

  using (var tran = dbSql.BeginTransaction())
  {

    var csvFile = from p in csvChains
                select p;

    SqlBulkCopy bc = new SqlBulkCopy(dbSql,
      SqlBulkCopyOptions.CheckConstraints |
      SqlBulkCopyOptions.FireTriggers |
      SqlBulkCopyOptions.KeepNulls, tran)
                     {
                       BatchSize = 1000,
                       DestinationTableName = "TStagingTable" // Temporary staging table in database.
                     };

    bc.WriteToServer(csvFile.AsDataReader()); // Extension method .AsDataReader depends on adding the EntityDataReader class to your C# project (see above).

    tran.Commit();
  }
}

// This class is used by LINQ to CSV to query the .csv file, see "LINQtoCSV" website.
public class MyCustomColumnMappingClass
{
  [CsvColumn(Name = "symbol", FieldIndex = 1)]
  public string Symbol { get; set; }

  [CsvColumn(Name = "date", FieldIndex = 3, OutputFormat = @"MM/dd/yyyy")]
  public DateTime Date { get; set; }
}