如何使用 C# 和实体框架将大 csv 文件导入数据库？

Question

我正在使用基本的StreamReader通过约65GB（4.5亿行）的CSV文件循环。

using (sr = new StreamReader(currentFileName))
{
    string headerLine = sr.ReadLine(); // skip the headers

    while ((string currentTick = sr.ReadLine()) != null)
    {
        string[] tickValue = currentTick.Split(',');
        // Ticks are formatted and added to the array in order to insert them afterwards.
    }
}

这将创建一个列表，该列表将保存属于蜡烛的壁虱，而不是调用inserttickbatch函数。

    private async static Task insertTickBatch(List<Tick> ticks)
    {
        if (ticks != null && ticks.Any())
        {
            using (DatabaseEntities db = new DatabaseEntities())
            {
                db.Configuration.LazyLoadingEnabled = false;
                int currentCandleId = ticks.First().CandleId;
                var candle = db.Candles.Where(c => c.Id == currentCandleId).FirstOrDefault();

                foreach (var curTick in ticks)
                {
                    candle.Ticks.Add(curTick);
                }

                await db.SaveChangesAsync();
                db.Dispose();
                Thread.Sleep(10);
            }
        }
    }

但是，这大约需要15年才能完成，我的意图是加快这一点。我该如何实现？

Answer 1

我不确定您正在使用哪个EF，但是如果可用，请尝试使用此ef而不是foreach循环：

 db.Ticks.AddRange(ticks);
            

另外，csvhelper是一个不错的软件包，可以将您的整个文件转换为tick对象列表，当然也必须进行。 。