比较两个包含大量对象的列表

Question

我需要比较两个列表，其中每个列表包含大约 60,000 个对象。最有效的方法是什么？我想选择源列表中目标列表中不存在的所有项目。

我正在创建一个同步应用程序，其中 c# 扫描目录并将每个文件的属性放在列表中。因此，有一个源目录列表和另一个目标目录列表。然后，我不会复制所有文件，而是比较列表并查看哪些文件不同。如果两个列表都有相同的文件，那么我将不会复制该文件。这是我使用的 Linq 查询，它在扫描小文件夹时有效，但在扫描大文件夹时则无效。

// s.linst is the list of the source files
// d.list is the list of the files contained in the destination folder
  var q = from a in s.lstFiles
        from b in d.lstFiles
        where
        a.compareName == b.compareName &&
        a.size == b.size &&
        a.dateCreated == b.dateCreated
        select a;

// create a list to hold the items that are the same later select the outer join
List<Classes.MyPathInfo.MyFile> tempList = new List<Classes.MyPathInfo.MyFile>();

foreach (Classes.MyPathInfo.MyFile file in q)
{
    tempList.Add(file);
}

我不知道为什么这个查询需要很长时间。我还可以利用其他一些东西。例如，我知道如果源文件与目标文件匹配，则不可能与该文件存在另一个重复项，因为不可能使文件名具有相同的名称和相同的路径。

Answer 1

为该类型创建一个相等比较器，然后您可以使用它来有效地比较集合：

public class MyFileComparer : IEqualityComparer<MyFile> {

  public bool Equals(MyFile a, MyFile b) {
    return
      a.compareName == b.compareName &&
      a.size == b.size &&
      a.dateCreated == b.dateCreated;
  }

  public int GetHashCode(MyFile a) {
    return
     (a.compareName.GetHashCode() * 251 + a.size.GetHashCode()) * 251 +
      a.dateCreated.GetHashCode();
  }

}

现在您可以将其与 Intersect 等方法一起使用，以获取两个列表中存在的所有项目，或 Except 获取一个列表中存在的所有项目，但不获取另一个列表中存在的所有项目：

List<MyFile> tempList =
  s.lstFiles.Intersect(d.lstFiles, new MyFileComparer()).ToList();

由于这些方法可以使用哈希码将项目划分到存储桶中，因此与连接相比，需要进行的比较要少得多必须将一个列表中的所有项目与另一列表中的所有项目进行比较。

Answer 2

LINQ 有一个 Except() 方法这个目的。您可以只使用a.Except(b);

Answer 3

使用 Except() 并阅读有关使用 linq 设置操作的更多信息 和 使用 HashSet 进行设置操作。