SqlBulkCopy 不起作用

Question

我有一个从 Excel 工作表填充的 DataSet。 我想使用 SQLBulk Copy 在 Lead_Hdr 表中插入记录，其中 LeadId 是 PK。

我在执行以下代码时遇到以下错误：

给定的 ColumnMapping 与中的任何列都不匹配 来源或目的地

string ConStr=ConfigurationManager.ConnectionStrings["ConStr"].ToString();

using (SqlBulkCopy s = new SqlBulkCopy(ConStr,SqlBulkCopyOptions.KeepIdentity))
{
    if (MySql.State==ConnectionState.Closed)
    {
        MySql.Open();
    }

    s.DestinationTableName = "PCRM_Lead_Hdr";
    s.NotifyAfter = 10000;

    #region Comment
    s.ColumnMappings.Clear();

    #region ColumnMapping
    s.ColumnMappings.Add("ClientID", "ClientID");
    s.ColumnMappings.Add("LeadID", "LeadID");
    s.ColumnMappings.Add("Company_Name", "Company_Name");
    s.ColumnMappings.Add("Website", "Website");
    s.ColumnMappings.Add("EmployeeCount", "EmployeeCount");
    s.ColumnMappings.Add("Revenue", "Revenue");
    s.ColumnMappings.Add("Address", "Address");
    s.ColumnMappings.Add("City", "City");

    s.ColumnMappings.Add("State", "State");
    s.ColumnMappings.Add("ZipCode", "ZipCode");
    s.ColumnMappings.Add("CountryId", "CountryId");

    s.ColumnMappings.Add("Phone", "Phone");
    s.ColumnMappings.Add("Fax", "Fax");
    s.ColumnMappings.Add("TimeZone", "TimeZone");
    s.ColumnMappings.Add("SicNo", "SicNo");
    s.ColumnMappings.Add("SicDesc", "SicDesc");

    s.ColumnMappings.Add("SourceID", "SourceID");
    s.ColumnMappings.Add("ResearchAnalysis", "ResearchAnalysis");
    s.ColumnMappings.Add("BasketID", "BasketID");
    s.ColumnMappings.Add("PipeLineStatusId", "PipeLineStatusId");

    s.ColumnMappings.Add("SurveyId", "SurveyId");
    s.ColumnMappings.Add("NextCallDate", "NextCallDate");
    s.ColumnMappings.Add("CurrentRecStatus", "CurrentRecStatus");
    s.ColumnMappings.Add("AssignedUserId", "AssignedUserId");
    s.ColumnMappings.Add("AssignedDate", "AssignedDate");
    s.ColumnMappings.Add("ToValueAmt", "ToValueAmt");
    s.ColumnMappings.Add("Remove", "Remove");
    s.ColumnMappings.Add("Release", "Release");

    s.ColumnMappings.Add("Insert_Date", "Insert_Date");
    s.ColumnMappings.Add("Insert_By", "Insert_By");
    s.ColumnMappings.Add("Updated_Date", "Updated_Date");
    s.ColumnMappings.Add("Updated_By", "Updated_By");

    #endregion
    #endregion

    s.WriteToServer(sourceTable);

    s.Close();

    MySql.Close();
}

Answer 1

我发现表中的列和输入中的列必须至少匹配。 您可以在表中包含更多列，并且输入仍会加载。 如果您的数量较少，您将收到错误。

Answer 2

想了很久要不要回答...
即使列名大小写相同，如果数据类型不同
你会得到同样的错误。 因此，请检查列名称及其数据类型。

PS：暂存表是确定的导入方式。

Answer 3

我会同意分阶段的想法，但是这是我处理区分大小写性质的方法。 很高兴收到对我的 linq

using (SqlConnection connection = new SqlConnection(conn_str))
{
        connection.Open();
        using (SqlBulkCopy bulkCopy = new SqlBulkCopy(connection))
        {
            bulkCopy.DestinationTableName = string.Format("[{0}].[{1}].[{2}]", targetDatabase, targetSchema, targetTable);
            var targetColumsAvailable = GetSchema(conn_str, targetTable).ToArray();
            foreach (var column in dt.Columns)
            {
                if (targetColumsAvailable.Select(x => x.ToUpper()).Contains(column.ToString().ToUpper()))
                {
                    var tc = targetColumsAvailable.Single(x => String.Equals(x, column.ToString(), StringComparison.CurrentCultureIgnoreCase));
                    bulkCopy.ColumnMappings.Add(column.ToString(), tc);
                }
            }

            // Write from the source to the destination.
            bulkCopy.WriteToServer(dt);
            bulkCopy.Close();
        }
}

和辅助方法的批评

private static IEnumerable<string> GetSchema(string connectionString, string tableName)
        {



   using (SqlConnection connection = new SqlConnection(connectionString))
        using (SqlCommand command = connection.CreateCommand())
        {
            command.CommandText = "sp_Columns";
            command.CommandType = CommandType.StoredProcedure;

            command.Parameters.Add("@table_name", SqlDbType.NVarChar, 384).Value = tableName;

            connection.Open();
            using (var reader = command.ExecuteReader())
            {
                while (reader.Read())
                {
                    yield return (string)reader["column_name"];
                }
            }
        }
    }

Answer 4

马克的答案是我的建议（关于使用临时表）。 这确保了如果您的来源不发生变化，您将来的导入问题将会减少。

但是，根据我的经验，您可以检查以下问题：

源和表中的列名称匹配
列类型匹配

如果您认为您这样做了但仍然没有成功。 您可以尝试以下操作。

1 - 允许表中所有列出现空值
2 - 注释掉所有列映射
3 - 重新运行一次添加一列，直到找到问题所在，

这应该会引发错误

Answer 5

原因之一是 :SqlBukCOpy 区分大小写。 请遵循步骤：

1. 在这种情况下，首先您必须通过以下方式在源表中找到您的列
   在 C# 中使用“包含”方法。
2. 一旦您的目标列与源列匹配，就会获得索引
   该列并在 SqlBukCOpy 中给出其列名称。

例如：`

//Get Column from Source table 
  string sourceTableQuery = "Select top 1 * from sourceTable";
   DataTable dtSource=SQLHelper.SqlHelper.ExecuteDataset(transaction, CommandType.Text, sourceTableQuery).Tables[0];// i use sql helper for executing query you can use corde sw

 for (int i = 0; i < destinationTable.Columns.Count; i++)
                        {    //check if destination Column Exists in Source table
                            if (dtSource.Columns.Contains(destinationTable.Columns[i].ToString()))//contain method is not case sensitive
                            {
                                int sourceColumnIndex = dtSource.Columns.IndexOf(destinationTable.Columns[i].ToString());//Once column matched get its index
                                bulkCopy.ColumnMappings.Add(dtSource.Columns[sourceColumnIndex].ToString(), dtSource.Columns[sourceColumnIndex].ToString());//give coluns name of source table rather then destination table so that it would avoid case sensitivity
                            }

                        }
                        bulkCopy.WriteToServer(destinationTable);
                        bulkCopy.Close();

Answer 6

我在将数据从访问复制到 SQLSERVER 2005 时遇到了同样的问题，我发现无论数据库的敏感性如何，两个数据源上的列映射都是区分大小写的。

Answer 7

嗯，是吗？ 列名是否存在于两侧？

说实话，我从来没有为映射而烦恼过。 我喜欢让事情变得简单 - 我倾向于有一个类似于服务器上输入的临时表，然后我将 SqlBulkCopy 复制到临时表中，最后运行一个存储过程将表从暂存表到实际表中； 优点：

• 如果导入在任何时候失败，都不会出现实时数据损坏的问题
• 我可以在 SPROC 周围放置一个事务
• 我可以让 bcp 工作而无需日志记录，因为知道 SPROC 将被记录，
• 这很简单；-p（不要搞乱映射）

最后一个想法 - 如果您正在处理批量数据，则可以使用 IDataReader 获得更好的吞吐量（因为这是一个流式 API，其中 DataTable 是一个缓冲 API）。 例如，我倾向于使用 CsvReader 作为 CSV 导入的源SqlBulkCopy。 或者，我围绕 XmlReader 编写了垫片，将每个第一级元素呈现为 IDataReader 中的一行 - 速度非常快。