如何优化数据表到集合转换的运行时？

Question

我有一个必须通过 odbc 连接到的数据库。

数据获取需要应用程序。 2分钟。生成的 DataTable 有 350000 条记录。

我正在尝试将数据表转换为该对象图。结果集没有主键，主键是通过我从中获取数据的视图指定的。

public class PriceCurve
{
    public PriceCurve(DataTable dt)
    {
        this.Id = int.Parse(dt.AsEnumerable().First()["ID"].ToString());
        this.Prices = new List<Price>();
        GetPrices(dt);
    }

    public int Id { get; private set; }
    public IList<Price> Prices { get; set; }

    private void GetPrices(DataTable dt)
    {
        foreach (DataColumn column in dt.Columns)
        {
            switch (this.GetPriceProviderType(column)) // parses ColumnName to Enum
            {
                case Price.PriceProvider.A:
                    {
                        this.Prices.Add(new Price(Price.PriceProvider.A, dt.AsEnumerable()));
                    }

                    break;
                case Price.PriceProvider.B:
                    {
                        this.Prices.Add(new Price(Price.PriceProvider.B, dt.AsEnumerable()));
                    }

                    break;
            }
        }

    public class Price
    {
        public enum PriceProvider
        {
            A, B
        }

        public Price(PriceProvider type, IEnumerable<DataRow> dt)
        {
            this.Type = type;
            this.TradingDates = new List<TradingDate>();
            this.GetTradingDates(type, dt);
        }

        public IList<TradingDate> TradingDates { get; set; }
        public PriceProvider Type { get; set; }

        private void GetTradingDates(PriceProvider type, IEnumerable<DataRow> dt)
        {
            var data = dt.Select(column => column["TRADING_DATE"]).Distinct();

            foreach (var date in data)
            {
                this.TradingDates.Add(new TradingDate(date.ToString(), type, dt));
            }
        }

        public class TradingDate
        {
            public TradingDate(string id, PriceProvider type, IEnumerable<DataRow> dt)
            {
                this.Id = id;
                this.DeliveryPeriodValues = new Dictionary<int, double?>();
                this.GetDeliveryPeriodValues(type, dt);
            }

            public string Id { get; set; }
            public IDictionary<int, double?> DeliveryPeriodValues { get; set; }

            private void GetDeliveryPeriodValues(PriceProvider type, IEnumerable<DataRow> dt)
            {

                foreach (var row in dt.Where(column => column["TRADING_DATE"].ToString() == this.Name))
                {
                    try
                    {
                        this.DeliveryPeriodValues.Add(
                            int.Parse(row["DELIVERY_PERIOD"].ToString()),
                            double.Parse(row[Enum.GetName(typeof(Price.PriceProvider), type)].ToString()));
                    }
                    catch (FormatException e)
                    {
                        this.DeliveryPeriodValues.Add(
                            int.Parse(row["DELIVERY_PERIOD"].ToString()),
                            null);
                    }
                }    
            }
        }
    }

我创建一个对象，其中包含一个包含两个对象的列表。这两个对象中的每一个都包含一个包含 1000 个对象的列表。这 1000 个对象中的每一个都包含一个包含 350 对的字典。

它要么在调试期间使 Visual Studio 2010 崩溃，要么因内存不足而失败，要么需要几分钟（不可接受）才能执行。

解决这个问题的最佳方法是什么。我是 C# 新手，不知道如何优化这个巨大数据或我的对象图的循环。任何帮助表示赞赏。

Answer 1

它要么在调试期间使 Visual Studio 2010 崩溃，要么因内存不足而失败，要么需要几分钟的时间
（不可接受）执行。

你让我笑了。真的。

• 350.000 个节点在具有 .NET 的 32 位计算机上具有挑战性。加上一些开销，你就死定了。使用对象，而不是数据表，这会严重破坏内存。

• 需要几分钟几乎是你的决定/编程。使用对象列表，而不是数据表。使用分析器。不要犯初学者的错误，例如：

var data = dt.Select(column =>column["TRADING_DATE"]).Distinct();

不需要这样做，稍后在代码中处理双打。独特就是昂贵。对其进行简介。

foreach (var row in dt.Where(column => column["TRADING_DATE"].ToString() == this.Name))

即按名称进行 350.000 行查找以获取列的索引，相比之下有很多串。

获取一个分析器并找出您的时间到底花在哪里。请摆脱表并使用对象 - 与对象列表相比，DataTable 占用内存并且速度慢。是的，这需要几分钟的时间。主要原因：

• 你的编程。不是什么耻辱。现在就学习 Go 对象/结构。
• ODBC。加载数据需要时间，特别是当您在加载时不处理数据（DataReader）而是等​​待所有数据加载完毕，并且 ODBC 速度不快。 350.000 行，良好的网络，直接 SQL Server 可能需要 30 秒 - 同一台机器更少。