根据次要字段逐一删除重复项

Question

我有一个用例，我正在使用出现的对象：

{
  "data": {
    "uuid": 0001-1234-5678-9101
  },
  "organizationId": 10192432,
  "lastCheckin": 2022-03-19T08:23:02.435+00:00
}

由于应用程序中的某些旧错误，我们在数据库中积累了许多重复的这些重复项。重复项的起源已在即将发布的版本中解决，但是我需要确保在发布之前没有这样的重复项，因为该版本对“ data.uuid”属性包含了唯一的约束。

我试图根据以下标准删除记录：

Any duplicate record based on "data.uuid" WHERE lastCheckin is NOT the most recent OR organizationId is missing.

不幸的是，我对使用MongoDB的新手是新手，并且不知道如何在查询中表达这一点。我已经尝试汇总以获取重复记录，虽然我能够做到这一点，但到目前聚合的一部分。这是我想到的：

db.collection.aggregate([
  { $match: {
    "_id": { "$ne": null },
    "count": { "$gt": 1 }
  }},
  { $group: {
    _id: "$data.uuid",
    "count": {
      "$sum": 1
    }
  }},
  { $project: {
    "uuid": "$_id", 
    "_id": 0
  }}
])

以上是根据描述重复项聚集的其他各种堆叠式帖子将其串在一起的。我不确定这是否是解决此问题的正确方法。我可以确定的一个直接问题是，仅获取“ data.uuid”属性而没有任何其他条件，就可以允许我识别无效的重复项，因此很难设想一个可以删除无效记录而无需记录有效记录的单个查询。 感谢您的帮助。

Answer 1

我不确定是否可以通过单个查询进行操作，但这就是我要处理的方式，首先通过lastcheckin对文档进行排序，然后通过data.uuid ，像这样：

db.collection.aggregate([
  {
    $sort: {
      lastCheckIn: -1
    }
  },
  {
    $group: {
      _id: "$data.uuid",
      "docs": {
        "$push": "$ROOT"
      }
    }
  },
]);

Playground链接。

获得这些结果后，您可以根据自己的条件过滤这些文档，您想删除并收集其_id。每个组的文档将按lastcheckin按降序排序，因此过滤应该很容易。

最后，使用此查询删除文档：

db.collection.remove({_id: { $in: [\\ array of _ids collected above] }});