将 csv 加载到 oleDB 中并强制所有推断的数据类型为字符串

Question

我正在尝试使用 oledb 将 csv 文件加载到数据表中。

这没问题，但不幸的是，其中一个看似数字的字段在大约 3% 的字段中具有字符串值，因此未填充。

因为我将 csv 转换为 xml，所以我真的不关心推断数据类型，只需要字符串中的数据，因为我可以稍后在 Linq2XMl 阶段中对其进行转换。

我希望能够在连接字符串中做到这一点。

我不想只是复制表，用我想要的数据类型设置新列，然后将数据写入其中，因为这将涉及加载 csv 文件两次。

有什么想法吗？

我当前的连接字符串是

Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + thefile.DirectoryName + ";Extended Properties='text;HDR=Yes;FMT=Delimited'";

Answer 1

做了一些研究，答案是使用 schema.ini，但为您的数据集动态生成它。

http://msdn.microsoft.com/en-us/ Library/ms709353(VS.85).aspx

包含所需的信息。
构建架构：

   public static void ConstructSchema(FileInfo theFile)
    {
        StringBuilder schema = new StringBuilder(); 
        DataTable data = LoadCSV(theFile); 
        schema.AppendLine("[" + theFile.Name + "]");
        schema.AppendLine("ColNameHeader=True"); 
        for (int i = 0; i < data.Columns.Count; i++)
        {
            schema.AppendLine("col" + (i + 1).ToString() + "=" + data.Columns[i].ColumnName + " Text");
        }   
        string schemaFileName = theFile.DirectoryName + @"\Schema.ini";
        TextWriter tw = new StreamWriter(schemaFileName);   
        tw.WriteLine(schema.ToString());
        tw.Close();  
    }

将 csv 加载为数据表

public static DataTable LoadCSV(FileInfo theFile)
    {   
        string sqlString = "Select * FROM [" + theFile.Name + "];";
        string conStr = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source="
            + theFile.DirectoryName + ";" + "Extended Properties='text;HDR=YES;'";
        DataTable theCSV = new DataTable();

        using (OleDbConnection conn = new OleDbConnection(conStr))
        {
            using (OleDbCommand comm = new OleDbCommand(sqlString, conn))
            {
                using (OleDbDataAdapter adapter = new OleDbDataAdapter(comm))
                {
                    adapter.Fill(theCSV);
                }
            }
        }
        return theCSV;
    }

以转换为 xml

 public static XElement GetXMLFromCSV(FileInfo theFile, string rootNodeName, string itemName)
    {
        XElement retVal;
        DataTable data;
        data = CrateCsvAndSchema(theFile); 
        DataSet ds = new DataSet(rootNodeName);
        data.TableName = itemName;
        ds.Tables.Add(data); 
        retVal = XElement.Parse(ds.GetXml());  
        return retVal;
    }

Answer 2

为了将 CSV 读入数据表，我推荐使用这个 CSV 解析器。

它真的很容易使用。以下是如何使用它用来自逗号分隔、引号限定的 CSV 的数据填充数据表：

    DataTable dt = null;
    using (GenericParserAdapter gp = new GenericParser.GenericParserAdapter(yourCsvFullname)) {
        dt = gp.GetDataTable();
    }

您可以设置许多选项：分隔符、文本限定符、是否是 CSV 显示列中的第一行标题（如果为 true，DataTable 中的每个 DataColumn 都会相应地命名）等。

有许多快速、灵活的 CSV 解析器，但对于简单的要求，这个是无可匹敌的。