MongoDB Map-Reduce 速度慢并且内存不足

Question

我想使用 MongoDB 作为我正在构建的分析系统的后端。 使用 MongoDB 的主要优点之一是内置的 MapReduce。 由于我们处于“中等数据”规模，因此我们还不需要 Hadoop 的开销。

的类型的行

{
 user_id: xxxx,
 thing_id:xxxx,
 time: xxx
}

出于测试目的，我在 EC2 大型实例上插入了 5000 万条带有 user_id 索引 。它是一个单实例 mongodb（未分片）。

db.user_thing_like.find({user_id: 37104857}) 

需要不到一秒钟的时间。

然而，我想要计算用户条目数的 MapReduce 花费了一整夜，并返回内存不足错误，要么我必须做一些愚蠢的事情，要么 mongo db 不是适合我想做的事情的工具。

我是 Mongo DB 的新手，希望得到任何帮助。提前致谢

错误：

Tue Aug  9 13:15:58 uncaught exception: map reduce failed:{
        "assertion" : "invoke failed: JS Error: out of memory nofile_b:2",
        "assertionCode" : 9004,
        "errmsg" : "db assertion failure",
        "ok" : 0
}

MAPREDUCE QUERY：

db.user_thing_like.mapReduce(map, reduce, {out: "tmp_test"}, {query: {"user_id" : 37104857 }});

MAP AND REDUCE：

map = function () {
    for (var key in this) {
        emit(key.user_id, {count: 1});
    }
};

reduce = function (key, emits) {
    total = 0;
    for (var i in emits) {
        total += emits[i].count;
    }
    return {"count": total};
}

---更新---

我意识到mapreduce在我使用的语法中没有考虑我的查询过滤器。

这是正确的 MapReduce 查询。

db.runCommand({mapreduce: "user_thing_like", map: map, reduce: reduce, out: "tmp_test", query: {"user_id" : 37104857 }});

Answer 1

map = function () {
        emit(this.user_id, {count: 1});
    }
};

另外，尝试从手册中指定 user_id 作为 MapReduce 的排序键：

sort : <sorts the input objects using this key. Useful for optimization, like sorting by the emit key for fewer reduces>]

Answer 2

我意识到，在我使用的语法中，mapreduce 没有考虑我的查询过滤器。

这是正确的 MapReduce 查询。

db.runCommand({mapreduce: "user_thing_like", map: map, reduce: reduce, out: "tmp_test", query: {"user_id" : 37104857 }});