SqlBulkCopy 和实体框架

Question

我当前的项目由 3 个标准层组成：数据、业务和表示。我想使用数据实体来满足我的所有数据访问需求。该应用程序的部分功能是需要将平面文件中的所有数据复制到数据库中。文件不是很大，所以我可以使用 SqlBulkCopy。我发现了几篇关于 .NET 中 SqlBulkCopy 类的使用的文章。然而，所有文章都使用 DataTables 来回移动数据。

有没有办法将数据实体与 SqlBulkCopy 一起使用，或者我必须使用 DataTables？

Answer 1

您需要将实体转换为 IDataReader 或 DataTable。

有一个小助手类旨在协助：
http://archive.msdn.microsoft.com/LinqEntityDataReader/Release /ProjectReleases.aspx?ReleaseId=389

编辑：msdn 链接已损坏，可以在此处找到替代副本：
https://github.com/matthewschrager/Repository/blob/master /Repository.EntityFramework/EntityDataReader.cs

然后你可以像这样使用 SqlBulkCopy ：

var sbCopy= new SqlBulkCopy(connectionString);
sbCopy.DestinationTableName = "TableName";
sbCopy.WriteToServer(entitiesList.AsDataReader()); 

Answer 2

在使用 EF 进行批量插入时，我们尝试并测试了多种方法，并最终使用表值参数来在一定范围的行大小下获得最佳性能。我没有手头的数字，但我知道性能bcp/BULK INSERT 与表值参数的比较 是一个指导因素。

我们最初使用 SqlBulkCopy 以及一个适配器，该适配器采用 IEnumerable 并创建 IDataReader。它还为 SqlBulkCopy 生成相关元数据。这里的优点是导入只是代码。 @davehogan 发布的代码被用作此的基础。

表值参数需要存储过程和数据库中定义的表类型。如果您使用代码优先，则可以执行 SQL 来创建这些作为创建脚本的一部分。虽然这需要更多工作，但我们发现数据库中的行吞吐量明显更加一致且更快。

另外，值得考虑不批量插入到主表中。我们使用临时堆表，并在导入数据后向其中添加聚集索引。然后，我们在临时表和主表之间执行MERGE。这样做的好处是在插入时不锁定主表的索引并提高并发性。使用此方法插入的每个 CPU 的速度往往高达 2500 行/秒。

如果您需要更多信息，请告诉我。

Answer 3

您可以使用 批量包 库。
Bulk Insert 1.0.0 版本用于 Entity Framework >=6.0.0 的项目。
更多描述可以在下面的链接中找到 -
批量操作源码

Answer 4

对于 EFCore，这里是 BulkExtensions（插入、InsertOrUpdate 更新、删除）：
链接：https://github.com/borisdj/EFCore.BulkExtensions
也可以通过 Nuget 安装

Answer 5

SqlBulkCopy 在调用 WriteToServer 方法时使用 IDataReader，因此您应该能够基于 IEnumerable 集合实现 IDataReader。这将允许您接收实体集并使用 IDataReader 实现调用 SqlBulkCopy。

Answer 6

您可以将数据集视为数据实体的序列化。然而一般来说，我认为 SqlBulkCopy 是一个表到表的东西，因此是数据表的原因。

Answer 7

SqlBulkCopy 是从客户端到 SQL Server 的行数据直接、几乎类似于字节数组的传输。它无疑是将数据导入 SQL Server 的最有效方法。

然而，它的性能在于真正的“批量”操作。数百或数千行不一定高到足以证明使用的合理性。数万到数百万行时，SqlBulkCopy 的性能才会真正大放异彩。最后，我们真正讨论的只是将数据发送到服务器。

将一组行放入生产数据库的表中还存在其他重大挑战。重新索引、重新排序（如果有聚集索引）、外键验证，所有这些都会增加插入时间，并且可能会锁定表和索引。

此外，TVP 数据会写入磁盘（作为临时表数据），然后可以访问并放入表中。 SqlBulkCopy 能够直接进入您的表...在这种情况下，性能明显更快，但是，必须平衡并发速度。

我认为总体规则是，如果您有少量行需要处理，请考虑 TVP，如果您有数千行，请考虑通过 SqlBulkCopy 尽快将其传输到 SQL Server。