事务范围和任务。当全部执行时

Question

意图：通过事务提交/回滚支持加速 Sql 插入操作

• 有相当大的数据量（大约 900 k 个实体）
• 想要将数据并行放入 SQL 表，要拆分每个连接的数据（例如 3 个活动连接，因此每个连接 300 k）
• 如果出现问题，希望有可能回滚，因此尝试使用事务范围（嵌套-TransactionScopeOption。必需）

问题：

看起来事务范围无法支持这种类型的Task.WhenAll，因此，如果执行期间出现错误，中间写入将不会回滚

问：所以我想知道它是否可以解决，或者它只是不适当的方式来利用事务范围？

   public void Upsert(IEnumerable<IEnumerable<Item>> splitPerConnection, DateTime endDate)
    {
        using (var scope = _transactionScopeFactory.Create(TransactionScopeOption.Required))
        {
            try
            {
                UpdateEndDate(endDate);

                var insertTasks = splitPerConnection.Select(ch => Task.Run(() => Insert(ch)));

                Task.WhenAll(insertTasks).GetAwaiter().GetResult();

                scope.Complete();
            }
            catch (Exception ex)
            {
                throw ex;
            }
        }
    }

    private int Insert(IEnumerable<Item> items)
    {
        int affectedRows;

        using (var scope = _transactionScopeFactory.Create(TransactionScopeOption.Required))
        using (var sqlConnection = new SqlConnection(DockerMsSqlServerConnectionString))
        {
            sqlConnection.Open();
            affectedRows = sqlConnection.Execute(ItemsQueries.Insert, items, commandTimeout: 0);

            scope.Complete();
        }

        return affectedRows;
    }

    private int UpdateEndDate(DateTime endDate)
    {
        int affectedRows;

        using (var scope = _transactionScopeFactory.Create(TransactionScopeOption.Required))
        using (var sqlConnection = new SqlConnection(DockerMsSqlServerConnectionString))
        {
            sqlConnection.Open();
            affectedRows = sqlConnection.Execute(ItemsQueries.UpdateEndDate, new { EndDate = endDate }, commandTimeout: 0);

            scope.Complete();
        }

        return affectedRows;
    }

Answer 1

您可以尝试利用 SqlBulkCopy，而不是将项目拆分到不同的连接对象上。

快速向 SQL Server 插入 200 万行

您可以创建一个通过修改 IEnumerable 来获取数据集。所有并行操作都可以在此处应用以从 IEnumerable 转换为数据集。创建数据集后，SqlBulkCopy 将为您提供帮助。您可以创建3-4组数据集并执行插入查询3-4次。

通过这种方法，您可以维护一个数据库连接，这也有助于遵循数据库事务的 ACID 合规性。