如何在所有值周围批量插入双引号的 csv？

Question

我正在尝试将 .csv 文件插入 SQL Server 2008 R2。

.csv 大小为 300+MB，来自 http://ipinfodb.com/ip_database.php 完整 （城市），400万条记录。

这是前 5 行，其中第一行 = 列标题：

"ip_start";"country_code";"country_name";"region_code";"region_name";"city";"zipcode";"latitude";"longitude";"metrocode"
"0";"RD";"Reserved";;;;;"0";"0";
"16777216";"AU";"Australia";;;;;"-27";"133";
"17367040";"MY";"Malaysia";;;;;"2.5";"112.5";
"17435136";"AU";"Australia";;;;;"-27";"133";

我尝试了导入和导出数据以及批量插入，但还无法正确导入它们。

我应该使用 bcp 吗？它可以处理剥离 "" 吗？如何？

非常感谢。

Answer 1

明白了，忘记将文本限定符设置为"：

Answer 2

您的数据看起来非常不一致，因为 NULL 值也不带有引号。

我相信您可以创建一个格式文件来自定义您的特定 csv 文件及其在 SQL SERVER 中的特定终止符。

在这里查看更多内容：
http://lanestechblog.blogspot.com/ 2008/08/sql-server-bulk-insert-using-format.html

Answer 3

这是单次导入还是您想要安排定期导入？如果这是一项一次性任务，您应该能够使用导入和导出向导。文本限定符将是引号 (")，请务必选择第一个数据行中的列名称，并且您需要传达字段分隔符是分号 (;)。

I不确定文件的格式是否正确 - 每个数据行后面的最后一个分号可能有问题，如果您遇到任何错误，只需向文件添加一个新的列标题

即可：我刚刚做了一个快速测试，末尾的分号将被视为该行中最终值的一部分，我建议在标题（第一行）末尾添加一个 ;"tempheader" - 这将导致 SQL 将最后的分号视为分隔符，并且导入完成后，您可以删除该额外的列。

Answer 4

在 C# 中，你可以使用这段代码，为我工作

 public bool CSVFileRead(string fullPathWithFileName, string fileNameModified, string tableName)
    {
        SqlConnection con = new SqlConnection(ConfigurationSettings.AppSettings["dbConnectionString"]);
        string filepath = fullPathWithFileName;
        StreamReader sr = new StreamReader(filepath);
        string line = sr.ReadLine();
        string[] value = line.Split(',');
        DataTable dt = new DataTable();
        DataRow row;
        foreach (string dc in value)
        {
            dt.Columns.Add(new DataColumn(dc));
        }
        while (!sr.EndOfStream)
        {
            //string[] stud = sr.ReadLine().Split(',');
            //for (int i = 0; i < stud.Length; i++)
            //{
            //    stud[i] = stud[i].Replace("\"", "");
            //}
            //value = stud;
            value = sr.ReadLine().Split(',');
            if (value.Length == dt.Columns.Count)
            {
                row = dt.NewRow();
                row.ItemArray = value;
                dt.Rows.Add(row);
            }
        }
        SqlBulkCopy bc = new SqlBulkCopy(con.ConnectionString, SqlBulkCopyOptions.TableLock);
        bc.DestinationTableName = tableName;
        bc.BatchSize = dt.Rows.Count;
        con.Open();
        bc.WriteToServer(dt);
        bc.Close();
        con.Close();

        return true;
    }