重构 - 速度提升

Question

我怎样才能让这个功能更有效率。目前运行时间为 6 - 45 秒。 我已经在这个特定方法上运行了 dotTrace profiler，它的总时间在 6,000 毫秒到 45,000 毫秒之间。大部分时间花在“MoveNext”和“GetEnumerator”调用上。

举个例子，

71.55% CreateTableFromReportDataColumns - 18, 533* ms - 190 calls
 -- 55.71% MoveNext - 14,422ms - 10,775 calls 

我可以做些什么来加快这个方法的速度？它被多次调用，并且秒数加起来：

    private static DataTable CreateTableFromReportDataColumns(Report report)
    {
        DataTable table = new DataTable();
        HashSet<String> colsToAdd = new HashSet<String> { "DataStream" };
        foreach (ReportData reportData in report.ReportDatas)
        {
            IEnumerable<string> cols = reportData.ReportDataColumns.Where(c => !String.IsNullOrEmpty(c.Name)).Select(x => x.Name).Distinct();

            foreach (var s in cols)
            {
                if (!String.IsNullOrEmpty(s))
                    colsToAdd.Add(s);
            }
        }

        foreach (string col in colsToAdd)
        {
            table.Columns.Add(col);
        }

        return table;
    }

如果您需要此处的 sql 表定义，它们是：

ReportData

ReportID            int

ReportDataColumn

ReportDataColumnId  int
ReportDataId        int 
Name                varchar(255)    
Value               text    

Answer 1

我相信您应该能够将您的功能简化为这样的内容

var columnsToAdd = report.ReportDatas
                    .SelectMany(r => r.ReportDataColumns)
                    .Select(rdc => rdc.Name)
                    .Distinct()
                    .Where(name => !string.IsNullOrEmpty(name));

，然后将名称添加到您的表中。

Answer 2

您的代码（仅）运行 foreach 循环，因此该方法将大部分时间花在 MoveNext() 等中的结论并不令人惊讶。

您正在对 isnullOrEmpty 和 Distinct 进行双重工作（由 HashSet 重复）。

我的版本是：

private static DataTable CreateTableFromReportDataColumns(Report report)
{
    DataTable table = new DataTable();
    HashSet<String> colsToAdd = new HashSet<String> { "DataStream" };
    foreach (ReportData reportData in report.ReportDatas)
    {

        foreach (var column in reportData.ReportDataColumns)
        {
            if (!String.IsNullOrEmpty(column.Name))
                colsToAdd.Add(column.Name);
        }
    }

    foreach (string col in colsToAdd)
    {
        table.Columns.Add(col);
    }

    return table;
}

但我不期望有巨大的改进

Answer 3

当您提出问题时，您应该提到 LinqToSql，然后您会得到一些响应来查看您的数据库，看看它是否是一个长时间运行的查询或重复往返查询

private static DataTable CreateTableFromReportDataColumns(Report report) 
{ 
    DataTable table = new DataTable(); 
    table.Columns.Add("DataStream");
    IEnumerable<string> moreColumns = report.ReportDatas
      .SelectMany(z => z.ReportDataColumns)
      .Select(x => x.Name)
      .Where(s => s != null && s != "")
      .Distinct();

    foreach (string col in moreColumns) 
    { 
        table.Columns.Add(col); 
    } 

    return table; 
} 

---

此外，捕获由使用 sql 分析器。然后通过使用之前的这些语句运行查询来分析查询的 IO 和 TIME

SET STATISTICS TIME ON
SET STATISTICS IO ON
  --your query here

---

最后，您可能需要一两个索引来降低 IO。列顺序在这里很重要。

CREATE INDEX IX1_ReportData ON ReportData(ReportID, Id)
CREATE INDEX IX1_ReportDataColumn ON ReportDataColumn(ReportDataId, Name)

Answer 4

这可能是对 Hank 代码的轻微改进。它利用了这样一个事实：HashSet 会告诉您添加操作是否成功或元素是否已存在。

private static DataTable CreateTableFromReportDataColumns(Report report)
{
    HashSet<string> uniqueNames = new HashSet<string> { null, "", "DataStream" };

    DataTable table = new DataTable();
    table.Columns.Add("DataStream");

    foreach (ReportData reportData in report.ReportDatas)
    {
        foreach (var dataColumn in reportData.ReportDataColumns)
        {
            if (uniqueNames.Add(dataColumn.Name))
            {
                table.Columns.Add(dataColumn.Name);
            }
        }
    }

    return table;
}

编辑：我继续在开头将 null 和“”添加到哈希集中，因此我们不再需要检查 null 或empty。

Answer 5

• 重复 string.isnullorempty 检查，
• 您可以通过执行 SelectMany 来摆脱 foreach（我看到安东尼刚刚发布了相同的:)，
• 以保持“DataStream”列的相同语义（切换到安东尼的版本后），您可以执行 new HashSet(columnsToAdd) { "DataStream" } 但添加（通过 concat 或 union 或其他方式）“DataStream”字符串然后用 Distinct() 结果可能会更容易/更快，并避免创建 HashSet（也可以分析两者） ）

这可能有点过分了（取决于 ReportDatas 中的条目数、每个 ReportDataColumns 中的列数、主机上的内核数等），但您也可以进行并行化。

• http://msdn.microsoft.com/en-us/magazine/cc163329。 aspx
• 链接

例如，如果您决定并行处理 ReportDatas 条目，您可以让每个条目创建自己的列集合，或者将它们全部写入 ConcurrentBag 中，您可以在以下情况下区分它们：一切都完成了或者无论如何。