在循环性能中将数据插入数据库

Question

我正在尝试编写 Windows 应用程序以从 Fox Pro DB 获取数据，并将其插入到 Sql Server 2008 db。

我写了代码，但是运行速度很慢。行数超过 100 万 我的代码如下：

OleDbConnection cn = new OleDbConnection(foxProConnectionString);
SqlConnection cSql = new SqlConnection(sqlServerConnectionString);
cSql.Open();

OleDbCommand ocmd = new OleDbCommand("Select * from " + table, cn);
OleDbDataAdapter sda = new OleDbDataAdapter(ocmd);
DataTable dt = new DataTable();
sda.Fill(dt);
SqlCommand mySqlcmd = new SqlCommand();
mySqlcmd.Connection = cSql;

for (int i = 0; i < dt.Rows.Count; i++)
{
   mySqlcmd.CommandText = "INSERT INTO sqlTable (column1, column2, column3) VALUES ("+dt.Rows[i][dt.Columns.IndexOf("column1")] + ",'" 
                                           + DoOper1(dt.Rows[i]dt.Columns.IndexOf("column2")]) + "','"
                                           + dt.Rows[i][dt.Columns.IndexOf("column3")] + "')";

   mySqlcmd.ExecuteNonQuery();
}

我无法使用批量复制，数据库列顺序在某些源表中可能不同。 我也收到错误：

CLR 无法转换 从 COM 上下文 0x54afe8 到 COM 上下文 0x54b158 60 秒。这 拥有目的地的线程 上下文/公寓最有可能 要么进行非泵送等待，要么 处理很长时间的运行 无需泵送 Windows 即可运行 消息。这种情况一般有 负面的性能影响，并可能 甚至导致应用程序变得 无响应或内存使用 随着时间的推移不断积累。到 避免这个问题，全部单身 线程公寓 (STA) 线程 应该使用泵等待原语 （例如 CoWaitForMultipleHandles）和 在长时间内定期发送消息 运行操作。

我怎样才能解决我的一系列问题？

Answer 1

我认为有一些方法可以解决您的批量复制问题，我建议您/我们解决这些问题，而不是试图检查为什么缓慢的技术很慢。您说不能使用批量复制的原因是因为某些源表中的数据库列顺序可能不同。我对此的回答是，为什么这很重要？如果您使用 SqlBulkCopy 对象，您是否无法完全控制源表中的列如何映射到目标表中的列？ （您是否尝试过使用 SqlBulkCopy 对象？）您还说您可以收到有关无响应程序的错误消息。看起来和COM有关。我不明白为什么批量复制会出现问题，而执行时间甚至更长。如有必要，您可能必须以较小的批次执行批量复制操作（也许在开始下一个批次之前完全完成/提交批次？），以便您的程序不会“失去对其执行的控制”。这是否有帮助或引发任何可能导致答案的进一步问题？

编辑：
你能做这样的事情吗？

System.Data.SqlClient.SqlBulkCopy bc = new System.Data.SqlClient.SqlBulkCopy("...");

// Begin a loop to process managable-size batches of source data.

using (System.Data.DataTable dtTarget = new System.Data.DataTable("sqlTable"))
{

   // Populate dtTarget with the data as it should appear
   // on the SQL Server side.
   // If the mapping is simple, you may be able to use
   // bc.ColumnMappings instead of manually re-mapping.

   bc.DestinationTableName = "sqlTable";
   bc.WriteToServer(dtTarget);
}

// End loop.