如何取 MongoDB 与 CouchDB 中大数据的平均值？

Question

我正在看这个图表...

http:// /www.mongodb.org/display/DOCS/MongoDB,+CouchDB,+MySQL+Compare+Grid

...其中表示：

查询方法

构建索引

CouchDB - Map/reduce javascript 函数以延迟为每个查询MongoDB - 动态的;基于对象的查询语言

这到底是什么意思？例如，如果我想取 1,000,000,000 个值的平均值，CouchDB 是否会自动以 MapReduce 方式执行此操作？

有人可以告诉我如何使用两个系统取 1,000,000,000 个值的平均值吗？这将是一个非常有启发性的例子。

谢谢。

Answer 1

CouchDB 的观点是一种奇怪而迷人的野兽。

CouchDB 进行增量映射/归约，也就是说，一旦您指定了“视图”，它将像关系数据库中的物化视图一样工作。如果您平均有 3 或 30 亿个文档，那并不重要。结果就在那里。

但其中存在三个问题：

1）一旦创建并更新视图，查询就会很快。如果您有大量小文档（如果可能，请使用较大的文档），视图创建可能会很慢。创建视图后，中间缩减步骤将存储在 B 树节点内，您无需重新计算它们。

2）当您查询时，视图会延迟更新。为了获得可预测的性能，您最好设置某种作业来定期更新它们。
如何在 CouchDB 中安排索引更新

3）您需要很好地了解如何使用复合键、范围和分组查询数据。 CouchDB 不擅长进行即席查询。
http://wiki.apache.org/couchdb/Introduction_to_CouchDB_views

我相信很快就会有人发布如何平均两个数据库中 1,000,000,000 个项目的详细信息，但您必须了解 CouchDB 让您做更多的前期工作以便从其增量方法中受益。这确实是非常独特的东西，但并不是真正适合当您对临时查询数据进行平均值或任何操作时的场景。

在 Mongo 中，您可以使用 map/reduce（不是增量式的。无论您是平均 3 亿还是 30 亿个文档，这都很重要，但由于其内存映射 I/O 方法，mongo 被认为速度极快）或其聚合功能。 http://www.mongodb.org/display/DOCS/Aggregation

Answer 2

我不能谈论 MongoDB，但我可以向您介绍 CouchDB。 CouchDB 只能通过 Map/Reduce 视图引擎进行本机查询。事实上，wiki 的部分是一个很好的起点。

视图包含一个ma​​p函数和一个可选reduce函数。编写这些函数的典型语言是 JavaScript，但有一个可用的 Erlang 选项，并且可以用几乎任何其他编程语言构建视图引擎。

映射函数用于根据数据库中的文档构建数据集。 reduce 函数用于聚合该数据集。因此，一旦创建视图，地图函数就会在数据库中的每个文档上运行。 （并且首先查询）创建后，该函数仅在新创建或修改/删除的文档上运行。因此，视图索引是增量构建的，而不是动态构建的。

如果有 1,000,000,000 个值，CouchDB 不需要在每次请求时计算查询结果。相反，它只会报告它所存储的视图索引的值，该值本身只会在创建/更新/删除文档时发生变化。

至于编写 Map/Reduce 函数，很多工作都留给了程序员，因为没有内置的映射函数。 （即它不是“自动”）但是，有一些本机reduce函数 (_sum< /code>、_count、_stats）可用。

这是一个简单的例子，我们将计算一些人的平均身高。

// sample documents
{ "_id": "Dominic Barnes", "height": 64 }
{ "_id": "Some Tall Guy", "height": 75 }
{ "_id": "Some Short(er) Guy", "height": 58 }

// map function
function (doc) {
  // first param is "key", which we do not need since `_id` is stored anyways
  emit(null, doc.height);
}

// reduce function
_stats

该视图的结果如下所示：

{
  "rows": [
    {
      "key": null
      "value": {
        "sum": 197,
        "count": 3,
        "min": 58,
        "max": 75,
        "sumsqr": 13085
      }
    }
  ]
}

从这里计算平均值就像将总和除以计数一样简单。如果您希望在视图本身内计算平均值，可以查看此示例。