当前位置：文江博客话题详情

从 CSV 批量插入到数据库 (C#) -> Web 应用程序中的最大行数？

发布于 2024-08-30 13:27:05 字数 277 浏览 5 评论 0原文

Web 应用程序 - C#、.Net、SQL 2k5。我最近在另一个应用程序上使用了bulkinsert，我想尝试一下。

我将收到一个包含 1000 行的 CSV 文件，这很可能会在数据库中添加 500 000（即五十万）条记录。我还不知道这笔巨额资金是否会取得良好的效果。我担心它会超时。

我还没有进行任何测试，但我很确定它最终会超时。

有没有办法让它不超时（我不知道......将bulkinsert分成1000块:D）或者我应该尝试做一些像BCP这样的事情，用SQL作业......

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

￠蛋碎的人ぎ生 2024-09-06 13:27:05

我最近使用 C# 和 SqlBulkCopy 类开发了类似的批量插入功能。为了避免页面超时，我使用 ThreadPool（ThreadPool.QueueUserWorkItem 方法）进行异步处理。使用新的连接对象将上传状态添加到日志表中，以避免日志的事务回滚。然后使用“上传历史记录”页面在网站中报告此状态。

最好的解决方案是创建一个使用 BulkInsert 命令的过程。这是该过程的示例代码：

CREATE PROCEDURE [dbo].[usp_ExecuteBulkInsertTask]  
(  
 @dataFile   VARCHAR(255),  
 @bulkInsertFormatFile  VARCHAR(255),  
 @tableName  VARCHAR(255)  
)  
AS 
BEGIN
BEGIN TRY
DECLARE @SQL Varchar(4000)  

 SET @SQL = 'BULK INSERT ' + @tableName  + ' FROM ''' + @dataFile + ''' WITH (formatfile=''' + @bulkInsertFormatFile + ''', FIRSTROW=2)'  
 EXEC sp_sqlexec  @SQL
END TRY
BEGIN CATCH
 --error handling
END CATCH
END

I recently developed smiliar bulkinsert functionality using c# and SqlBulkCopy class. To avoid page timeout I did asynchornous processing using ThreadPool (ThreadPool.QueueUserWorkItem method). The upload status is added to a log table using a new connection object to avoid transaction rollback for logs. This status is then reported in the website using a Upload History page.

The best solution would be to create a procedure which uses BulkInsert command. Here is a sample code for the proc:

CREATE PROCEDURE [dbo].[usp_ExecuteBulkInsertTask]  
(  
 @dataFile   VARCHAR(255),  
 @bulkInsertFormatFile  VARCHAR(255),  
 @tableName  VARCHAR(255)  
)  
AS 
BEGIN
BEGIN TRY
DECLARE @SQL Varchar(4000)  

 SET @SQL = 'BULK INSERT ' + @tableName  + ' FROM ''' + @dataFile + ''' WITH (formatfile=''' + @bulkInsertFormatFile + ''', FIRSTROW=2)'  
 EXEC sp_sqlexec  @SQL
END TRY
BEGIN CATCH
 --error handling
END CATCH
END

回复收藏 0 原文