C# 中的 DataTable.Select 和性能问题

Question

我从数据表中的三个制表符分隔文件导入数据，之后我需要遍历主表的每一行并查找两个子表中的所有行。针对我从子表中找到的每个 DataRow[] 数组，我必须再次单独遍历每一行并根据不同的参数检查值，最后我需要创建一个最终记录，该记录将合并主表和两个子表表列。 现在我已经做到了这一点并且它可以工作，但问题是它的性能。我正在使用 DataTable.Select 从子表中查找所有子行，我认为这会使其非常慢。 请记住，所有表都没有主键，因为重复行是可以接受的。 目前，我的主表中有 1200 行，子表中有大约 8000 行，完成此操作所需的总时间是 8 分钟。

知道如何提高性能。 提前致谢

代码如下****************

 DataTable rawMasterdt = importMasterFile();
 DataTable rawDespdt = importDescriptionFile();

        dsHelper = new DataSetHelper();
        DataTable distinctdt = new DataTable();
        distinctdt = dsHelper.SelectDistinct("DistinctOffers", rawMasterdt, "C1");

        if (distinctdt.Rows.Count > 0)
        {
            int count = 0;
                foreach (DataRow offer in distinctdt.Rows)
                {
                    string exp = "C1 = " + "'" + offer[0].ToString() + "'" + "";
                    DataRow masterRow = rawMasterdt.Select(exp)[0];

                    count++;
                    txtBlock1.Text = "Importing Offer " + count.ToString() + " of " + distinctdt.Rows.Count.ToString(); 
                    if (masterRow != null )
                        {
                            Product newProduct = new Product();

                            newProduct.Code = masterRow["C4"].ToString();
                            newProduct.Name = masterRow["C5"].ToString();
                          //  -----
                            newProduct.Description = getProductDescription(offer[0].ToString(), rawDespdt);
                            newProduct.Weight = getProductWeight(offer[0].ToString(), rawDespdt);
                            newProduct.Price = getProductRetailPrice(offer[0].ToString(), rawDespdt);
                            newProduct.UnitPrice = getProductUnitPrice(offer[0].ToString(), rawDespdt);
                          //  ------- more functions similar to above here

                            productList.Add(newProduct);
                        }
                }
                txtBlock1.Text = "Import Completed";
 public string getProductDescription(string offercode, DataTable dsp)
    {
        string exp = "((C1 = " + "'" + offercode + "')" + " AND ( C6 = 'c' ))";
        DataRow[] dRows = dsp.Select( exp);
        string descrip = "";
        if (dRows.Length > 0)
        { 
            for (int i = 0; i < dRows.Length - 1; i++)
            {
              descrip = descrip + " " + dRows[i]["C12"];
            }
        }
        return descrip;

    }

Answer 1

.Net 4.5，问题仍然存在。

以下是一个简单基准测试的结果，其中比较了 DataTable.Select 和不同字典实现的 CPU 时间（结果以毫秒为单位）

    #Rows Table.Select  Hashtable[] SortedList[] Dictionary[]
     1000        43,31         0,01         0,06         0,00
     6000       291,73         0,07         0,13         0,01
    11000       604,79         0,04         0,16         0,02
    16000       914,04         0,05         0,19         0,02
    21000      1279,67         0,05         0,19         0,02
    26000      1501,90         0,05         0,17         0,02
    31000      1738,31         0,07         0,20         0,03

问题：

DataTable.Select 方法创建了一个“System.Data.Select”类实例在内部，这个“Select”类根据查询中指定的字段（列）创建索引。 Select 类重复使用它创建的索引，但 DataTable 实现不会重复使用 Select 类实例，因此每次调用 DataTable.Select 时都会重新创建索引。 （可以通过反编译 System.Data 来观察此行为）

解决方案：

假设以下查询

DataRow[] rows = data.Select("COL1 = 'VAL1' AND (COL2 = 'VAL2' OR COL2 IS NULL)");

相反，创建并填充一个字典，其中键对应于用作过滤器的列值的不同值组合。 （这个相对昂贵的操作必须只执行一次，然后必须重新使用字典实例）

Dictionary<string, List<DataRow>> di = new Dictionary<string, List<DataRow>>();

foreach (DataRow dr in data.Rows)
{
    string key = (dr["COL1"] == DBNull.Value ? "<NULL>" : dr["COL1"]) + "//" + (dr["COL2"] == DBNull.Value ? "<NULL>" : dr["COL2"]);
    if (di.ContainsKey(key))
    {
        di[key].Add(dr);
    }
    else
    {
        di.Add(key, new List<DataRow>());
        di[key].Add(dr);
    }
}

查询字典（可能需要多个查询）以过滤行并将结果组合到列表中

string key1 = "VAL1//VAL2";
string key2 = "VAL1//<NULL>";
List<DataRow>() results = new List<DataRow>();
if (di.ContainsKey(key1))
{
    results.AddRange(di[key1]);
}
if (di.ContainsKey(key2))
{
    results.AddRange(di[key2]);
}

Answer 2

我知道这是一个老问题，支撑这个问题的代码可能已经改变，但我最近遇到了（并深入了解）这个问题。

对于以后来的任何人......这就是我发现的。

DataTable.Select(condition) 的性能对您提供的“条件”的性质和结构非常敏感。对我来说，这看起来像是一个错误（我应该在哪里向 Microsoft 报告它？），但它可能只是一个怪癖。

我编写了一组测试来演示该问题，其结构如下：

1. 定义一个包含几个简单列的数据表，如下所示：

   <块引用>

   var dataTable = new DataTable();
   var idCol = dataTable.Columns.Add("Id", typeof(Int32));
   dataTable.Columns.Add("代码", typeof(string));
   dataTable.Columns.Add("名称", typeof(string));
   dataTable.Columns.Add("FormationDate", typeof(DateTime));
   dataTable.Columns.Add("收入", typeof(Decimal));
   dataTable.Columns.Add("ChildCount", typeof(Int32));
   dataTable.Columns.Add("国外", typeof(Boolean));
   dataTable.PrimaryKey = new DataColumn[1] { idCol };

2. 用 40000 条记录填充表，每条记录都有一个唯一的“代码”字段。

   用

3. 使用两种类似但格式不同的查询对数据表执行一批“选择”（每个选择具有不同的参数），并记录和比较两种格式所花费的总时间。

您将获得显着的成果。例如，并排测试以下两个条件：

Q1: [Code] = 'XX'

Q2: ([Code] = 'XX')

[ 我使用上述两个查询执行多个 Select 调用，每次迭代我将 XX 替换为数据表中存在的有效代码]
结果呢？

针对 40000 条记录进行 320 次查找的时间比较：不带括号的总搜索时间为 180 毫秒，带括号的搜索总搜索时间为 6871 毫秒

是 - 如果条件周围有额外的括号，速度会慢 38 倍。
还有其他一些反应不同的场景。

例如，
[Code] = '{searchCode}' OR 1=0 与 ([Code] = '{searchCode}' OR 1=0) 花费相似（缓慢）的时间执行，但是：

[Code] = '{searchCode}' AND 1=1 与 ([Code] = '{searchCode}' AND 1=1) 再次显示不带括号的版本快了近 40 倍。

我没有调查所有场景，但似乎括号的引入 - 要么冗余地围绕简单的比较检查，要么根据需要指定子表达式优先级 - 或者“OR”的存在会大大减慢查询速度。

我可以推测这个问题是由数据表如何解析您使用的条件以及它如何创建和使用内部索引引起的......但我不会。

Answer 3

使用字典可以大大加快速度。例如：

if (distinctdt.Rows.Count > 0)
{
    // build index of C1 values to speed inner loop
    Dictionary<string, DataRow> masterIndex = new Dictionary<string, DataRow>();
    foreach (DataRow row in rawMasterdt.Rows)
        masterIndex[row["C1"].ToString()] = row;

    int count = 0;
    foreach (DataRow offer in distinctdt.Rows)
    {

那么代替

    string exp = "C1 = " + "'" + offer[0].ToString() + "'" + "";
    DataRow masterRow = rawMasterdt.Select(exp)[0];

You 会这样做

DataRow masterRow;
if (masterIndex.ContainsKey(offer[0].ToString())
    masterRow = masterIndex[offer[0].ToString()];
else
    masterRow = null;

Answer 4

如果在父 DataTable 和子 DataTable 之间创建 DataRelation，则可以通过在父行上调用 DataRow.GetChildRows(DataRelation) 来查找子行（如果是类型化 DataSet，则调用 DataRow.GetChildRelName）。搜索将应用 TreeMap 查找，即使有很多子行，性能也应该很好。

如果您必须根据 DataRelation 的外键以外的其他条件搜索行，我建议您使用 DataView.Sort / DataView.FindRows() 而不是 DataTable.Select()，只要您需要查询更多数据比一次。 DataView.FindRows() 将基于 TreeMap 查找 (O(log(N))，而 DataTable.Select() 必须扫描所有行 (O(N))。本文包含更多详细信息： http://arnosoftwaredev.blogspot.com/2011/02/when-datatableselect- is-slow-use.html

Answer 5

可以使数据表与数据集中的其他数据表具有关系。请参阅 http://msdn.microsoft.com/en -us/library/ay82azad%28VS.71%29.aspx 进行一些讨论并作为浏览的起点。我没有太多使用它们的经验，但据我了解，它们会做你想做的事情（假设你的表格采用合适的格式）。我认为这些比手动过程具有更高的效率，但我可能是错的。可能值得看看它们是否适合您，并进行基准测试以查看它们是否有所改进......

Answer 6

您是否通过分析器运行过它？这应该是第一步。无论如何，这可能会有所帮助：

• 将主文本文件逐行读入内存。将主记录作为键放入字典中。将其添加到数据集（1 次通过 master）。

• 逐行读取子文本文件，将其添加为上面创建的字典中相应主记录的值

• 现在，字典中的所有内容都已存储在内存中，只需对每个文件执行 1 次遍历。
  对字典/子项进行最后一次遍历，处理每一列并执行最终计算。