使用 Linq to sql 从 csv 批量插入到数据库

Question

我已经实现了一个应用程序，它从 csv 文件获取数据并插入到 Sql DB 中，我正在使用 Linq to sql。我还要求跳过那些正在进行验证的记录， 为了实现这一点，我使用了一个循环，并在循环内部调用submitchnages()。

问题：此应用程序适用于较少数量的记录（<100），但实际上我会获取更多 3 - 4 个记录的 csv 文件。我只是简单地针对这些大文件运行我的应用程序，结果应用程序花费了很长时间（5 -6 小时）。

请建议任何更好的方法。

Answer 1

Linq-to-SQL 非常适合从数据库中获取数据，或者用于验证和一次少量插入/更新。但是对于您正在做的事情（ETL），听起来您需要查看 SqlBulkCopy 对象。继续使用 L2S 对象进行验证，但无需提交更改，只需将对象映射到良好的老式 ADO.NET 数据表中，然后每 1000 条左右的记录批量插入它们。

Answer 2

如果性能是一个大问题，那么 LINQ to SQL 可能不是适合该工作的工具。但是，在将 LINQ to SQL 扔出解决方案之前，您可能会考虑以下事项：

• 尝试在一定数量的记录之后创建一个新的 DataContext。 DataContext 缓存所有实体，以便发送到数据库和从数据库检索，这将导致大量内存占用，并最终......内存不足。
• 使用 SQL 事件探查器查看 LINQ to SQL 发送到数据库的查询。 LINQ to SQL 可能还会查询数据库以查找您创建的每个实体。
• 尝试在插入时调整数据库。这可能很困难，但您可以尝试将这些记录写入中间表（依赖性较少），并使用存储过程将数据移动到最终目的地。

批量插入是 O/RM 不擅长的，因此您可能需要采取不同的方法。

Answer 3

如果必须使用 Linq2Sql 进行插入，您可能需要进行间歇性提交。像这样的东西 -

    public void LoadLargeDataUsingLinqToSql(string pathToCSV){
        DataTable dt = LoadMyCSVToDataTable(pathToCSV);
        int myPerformanceCounter = 0;
        foreach(DataRow dr in dt.Rows()){
            MyLinqClass m = ConvertDRToMyLinqClass(dr);
            if(m.IsValidAndReadyToBeSaved()){
                MyDataContext.MyLinqClassRef.InsertOnSubmit(m);
                myPerformanceCounter++;
            }

            if(myPerformaceCounter>25000){
                //Commit to clear cache.
                MyDataContext.SubmitChanges();
                myPerformanceCounter=0;
            }
        }
        //Commit leftovers
        MyDataContext.SubmitChanges();
    }