当限制16 MB时，如何计算聚合的大小

Question

我想为特定应用程序用户计算MongoDB中一些相互关联的文档的大小。 我正在执行聚合，最后对Bsonsize进行投影，但是当文档大小超过16 Mb 的限制时，此方法就无法正常工作。

我认为必须有更好的方法来解决这个问题，我要求经验丰富的开发人员，他们正在查看这个问题以共享更好的方法。

这就是我的聚合阵列的样子，

[
      {
        $match: {
          user: userId
        }
      }, {
        $lookup: {
          from: 'anyvalidcollection1',
          localField: 'validlocalfield1',
          foreignField: 'validforeignfield1',
          as: 'alias1'
        }
      }, $lookup: {
          from: 'anyvalidcollection2',
          localField: 'validlocalfield2',
          foreignField: 'validforeignfield2',
          as: 'alias2'
        },
       $lookup: {
          from: 'anyvalidcollection3',
          localField: 'validlocalfield3',
          foreignField: 'validforeignfield3',
          as: 'alias3'
        },
       $lookup: {
          from: 'anyvalidcollection4',
          localField: 'validlocalfield4',
          foreignField: 'validforeignfield4',
          as: 'alias4'
        },
        $lookup: {
          from: 'anyvalidcollection5',
          localField: 'validlocalfield5',
          foreignField: 'validforeignfield5',
          as: 'alias5'
        }
      }, {
        $project: {
          size: {
            $bsonSize: '$$ROOT'
          },
          fileSize: '$file_data.size'
        }
      }, {
        $unwind: {
          path: '$fileSize',
          includeArrayIndex: '0',
          preserveNullAndEmptyArrays: false
        }
      }, {
        $group: {
          _id: 'sum',
          totalSize: {
            $sum: '$size'
          },
          totalFileSize: {
            $sum: '$fileSize'
          }
        }
      }
    ]

Answer 1

如果管道中的文档为＆gt; 16MB $ bsonsize也会抱怨文档大小，即使返回的文档为＆lt; 16MB。

但是，解决此问题的一种简单方法是执行许多BSON尺寸，例如，如果您有许多字段，其中包含许多数据，field1，field2，field2，field3

您可以做类似的bellow，

aggregate(
[{"$set": 
   {"size": 
     {"$add": 
       [{"$bsonSize": {"field1": "$field1"}},
        {"$bsonSize": {"field2": "$field2"}},
        {"$bsonSize": {"field3": "$field3"}}]}}}])

您也有5个查找看起来很多，如果您更改模式，也许可以减少它们。