如何获取数据表中的不同记录？

Question

我正在使用 C# + VS2008 + .Net + ASP.Net + IIS 7.0 + ADO.Net + SQL Server 2008。我有一个 ADO.Net 数据表对象，我想过滤掉重复/相似的记录（在我的特定规则中判断记录是否重复/相似——如果记录/行对于字符串列具有相同的值，我将把它们视为重复/相似记录），并且只保留这样的重复/相似记录之一。

输出需要是一个数据表，如果可以对同一个数据表对象进行过滤操作，则可以输出相同的数据表对象。

最有效的解决方案是什么？

Answer 1

您使用的是.NET 3.5吗？如果您转换数据行，则可以使用 LINQ to Objects：

var distinctRows = table.Rows.Cast<DataRow>().Distinct(new E());

...

public class E : IEqualityComparer<DataRow>
{
    bool IEqualityComparer<DataRow>.Equals(DataRow x, DataRow y)
    {
        return x["colA"] == y["colA"];
    }

    int IEqualityComparer<DataRow>.GetHashCode(DataRow obj)
    {
        return obj["colA"].GetHashCode();
    }
}

或者更简单的方法，因为您基于单个列的值：

var distinct = from r in table.Rows.Cast<DataRow>()
               group r by (string)r["colA"] into g
               select g.First();

如果您需要从这些不同的行中创建一个新的 DataTable，您可以这样做：

var t2 = new DataTable();
t2.Columns.AddRange(table.Columns.Cast<DataColumn>().ToArray());
foreach(var r in distinct)
{
    t2.Rows.Add(r);
}

或者，如果使用业务对象会更方便，您可以进行简单的转换：

var persons = (from r in distinct
               select new PersonInfo
               {
                   EmpId = (string)r["colA"],
                   FirstName = (string)r["colB"],
                   LastName = (string)r["colC"],
               }).ToList();

...

public class PersonInfo
{
    public string EmpId {get;set;}
    public string FirstName {get;set;}
    public string LastName {get;set;}
}

更新

您在 LINQ to Objects 中可以做的所有事情也可以在没有它的情况下完成：它只是需要更多代码。例如：

var table = new DataTable();
var rowSet = new HashSet<DataRow>(new E());
var newTable = new DataTable();
foreach(DataColumn column in table.Columns)
{
    newTable.Columns.Add(column);
}
foreach(DataRow row in table.Rows)
{
    if(!rowSet.Contains(row))
    {
        rowSet.Add(row);
        newTable.Rows.Add(row);
    }
}

您还可以使用类似的策略简单地从原始表中删除重复行，而不是创建新表。

Answer 2

您可以使用 group by 子句执行 select into，这样就不会创建重复项。然后删除旧表并将您选择的表重命名为原始表名称。

Answer 3

我会在数据库层执行此操作：

SELECT Distinct...
FROM MyTable

或者如果您需要聚合：

SELECT SUM(Field1), ID FROM MyTable
GROUP BY ID

将 SELECT 语句放入存储过程中。然后在.net中连接数据库，调用存储过程，执行.ExecuteNonQuery()。返回数据表中的行并将数据表返回到您的 UI。