C# BulkCopy、DBF 错误（Timout、&Provider 无法确定...）

Question

我编写了一个小型控制台应用程序，我将其指向包含 DBF/FoxPo 文件的文件夹。

然后，它根据每个 dbf 表在 SQL 中创建一个表，然后执行批量复制以将数据插入到 SQL 中。除了一些障碍之外，它在大多数情况下工作得很好。

1) 一些 FoxPro 表包含 5000000 多条记录，并且连接在插入完成之前到期。

这是我的连接字符串：

<add name="SQL" connectionString="data source=source_source;persist security info=True;user id=DBFToSQL;password=DBFToSQL;Connection Timeout=20000;Max Pool Size=200" providerName="System.Data.SqlClient" />

错误消息： “超时已过。操作完成之前超时时间已过，或者服务器未响应。”

代码：

using (SqlConnection SQLConn = new SqlConnection(SQLString))
using (OleDbConnection FPConn = new OleDbConnection(FoxString))
{
    ServerConnection srvConn = new Microsoft.SqlServer.Management.Common.ServerConnection(SQLConn);
    try
    {
        FPConn.Open();                       
        string dataString = String.Format("Select * from {0}", tableName);

        using (OleDbCommand Command = new OleDbCommand(dataString, FPConn))
        using (OleDbDataReader Reader = Command.ExecuteReader(CommandBehavior.SequentialAccess))
        {                       
            tbl = new Table(database, tableName, "schema");

            for (int i = 0; i < Reader.FieldCount; i++)
            {                           
                col = new Column(tbl, Reader.GetName(i), ConvertTypeToDataType(Reader.GetFieldType(i)));
                col.Nullable = true;
                tbl.Columns.Add(col);                       
            }

            tbl.Create();                       
            BulkCopy(Reader, tableName);
        }                   
    }
    catch (Exception ex)
    {
       // LogText(ex, @"C:\LoadTable_Errors.txt", tableName);
        throw ex;
    }
    finally
    {
        SQLConn.Close();
        srvConn.Disconnect();
    }
}

private DataType ConvertTypeToDataType(Type type)
{
    switch (type.ToString())
    {
        case "System.Decimal":
            return DataType.Decimal(18, 38);
        case "System.String":
            return DataType.NVarCharMax;
        case "System.Int32":
            return DataType.Int;
        case "System.DateTime":
            return DataType.DateTime;
        case "System.Boolean":
            return DataType.Bit;
        default:
            throw new NotImplementedException("ConvertTypeToDataType Not implemented for type : " + type.ToString());
    }
}

 private void BulkCopy(OleDbDataReader reader, string tableName)
{
    using (SqlConnection SQLConn = new SqlConnection(SQLString))
    {       
        SQLConn.Open();
        SqlBulkCopy bulkCopy = new SqlBulkCopy(SQLConn);

        bulkCopy.DestinationTableName = "schema." + tableName;

        try
        {
            bulkCopy.WriteToServer(reader);         
        }
        catch (Exception ex)
        {           
            //LogText(ex, @"C:\BulkCopy_Errors.txt", tableName);
        }
        finally
        {
            SQLConn.Close();
            reader.Close();
        }
    }
}

我的第二个和第二个第三个错误如下：

我了解问题是什么，但我不太确定如何纠正它们

2)“提供程序无法确定十进制值。例如，该行只是创建后，Decimal 列的默认值不可用，并且使用者尚未设置新的 Decimal 值。”

3) SqlDateTime 溢出。必须在 1/1/1753 12:00:00 AM 和 12/31/9999 11:59:59 PM 之间。

我在 google 上找到了一个表明问题所在的结果：[A]...以及一个可能的解决办法 [B] （但我想将我的十进制值保留为十进制，并且日期作为日期，因为我将对数据进行进一步的计算）

我想要做的解决方案

1.）要么增加连接时间，（但我不认为我可以增加它比我更重要有），或者是否可以拆分 OleDbDataReader 的结果并进行增量批量插入？

2.）我在想是否可以批量复制来忽略有错误的结果，或者将错误记录记录到csv文件或某种程度的文件中？

Answer 1

因此，在您执行“for”语句的地方，我可能会将其分解为一次需要这么多：

int i = 0;
int MaxCount = 1000;

while (i < Reader.FieldCount)
{
    var tbl = new Table(database, tableName, "schema"); 

    for (int j = i; j < MaxCount; j++) 
    {                            
        col = new Column(tbl, Reader.GetName(j), ConvertTypeToDataType(Reader.GetFieldType(j))); 
        col.Nullable = true; 
        tbl.Columns.Add(col);
        i++;                      
    } 

    tbl.Create();                        
    BulkCopy(Reader, tableName); 
}

因此，“i”跟踪总体计数，“j”跟踪增量计数（即您的最大值为 1）时间计数），当您创建“批次”时，您将创建表并批量复制它。

这看起来像您所期望的那样吗？

干杯，
克里斯.

Answer 2

这是我目前对批量复制方法的尝试，我不适用于大约 90% 的表，但是我得到了 OutOfMemory 异常，对于较大的表...我想将读者的数据分成较小的部分，不必先将其传递到 DataTable 并将其存储在内存中（这是较大结果集上出现 OutOfMemory 异常的原因）

更新

修改了下面的代码以了解其外观我的解决方案..它不漂亮..但它有效。我肯定会进行一些重构，并再次更新我的答案。

    private void BulkCopy(OleDbDataReader reader, string tableName, Table table)
    {
        Console.WriteLine(tableName + " BulkCopy Started.");
        try
        {
            DataTable tbl = new DataTable();
            List<Type> typeList = new List<Type>();
            foreach (Column col in table.Columns)
            {
                tbl.Columns.Add(col.Name, ConvertDataTypeToType(col.DataType));
                typeList.Add(ConvertDataTypeToType(col.DataType));
            }

            int batch = 1;
            int counter = 0;

            DataRow tblRow = tbl.NewRow();

            while (reader.Read())
            {
                counter++;
                int colcounter = 0;
                foreach (Column col in table.Columns)
                {
                    try
                    {
                        tblRow[colcounter] = reader[colcounter];
                    }
                    catch (Exception)
                    {
                        tblRow[colcounter] = GetDefault(typeList[0]);
                    }
                    colcounter++;
                }

                tbl.LoadDataRow(tblRow.ItemArray, true);

                if (counter == BulkInsertIncrement)
                {
                    Console.WriteLine(tableName + " :: Batch >> " + batch);
                    counter = PerformInsert(tableName, tbl, batch);
                    batch++;
                }
            }

            if (counter > 0)
            {
                Console.WriteLine(tableName + " :: Batch >> " + batch);
                PerformInsert(tableName, tbl, counter);
            }

            tbl = null;
            Console.WriteLine("BulkCopy Success!");
        }
        catch (Exception ex)
        {
            Console.WriteLine("BulkCopy Fail!");
            SharedLogger.Write(ex, @"C:\BulkCopy_Errors.txt", tableName);
            Console.WriteLine(ex.Message);
        }
        finally
        {
            reader.Close();
            reader.Dispose();

        }
        Console.WriteLine(tableName + " BulkCopy Ended.");
        Console.WriteLine("*****");
        Console.WriteLine("");
    }