MapReduce排序迭代器

Question

我正在阅读MapRedcue的源代码，以更好地了解MapReduce的内部机制。当我试图理解映射阶段生成的数据如何合并并发送到reduce函数以进行进一步处理时，我遇到了问题。源代码看起来太复杂，我只想了解它的概念。

我想知道的是在传递给reduce() 函数之前如何对值（作为参数迭代器）进行排序。在MapTask.runOldReducer() 中，它将通过传递RawKeyValueIterator 创建ReduceValuesIterator，其中将调用Merger.merge() 并执行许多操作（例如收集段）。阅读代码后，在我看来，它只是尝试按键排序，并且该键附带的值将被聚合/收集而不会被删除。例如，map()可能会产生

    Key                              Value
    http://www.abcfood.com/aLink     object A
    http://www.abcfood.com/bLink     object B
    http://www.abcfood.com/cLink     object C

然后在reduce()中，

Key将为http://www.abcfood.com/< /a> 和 Values 将包含对象 A、对象 B 和对象 C。

因此它是按键 http:// 排序的www.abcfood.com/？这是正确的吗？或者它对什么进行排序然后传递给reduce函数？

非常感谢。

Answer 1

假设这是您的输入：

Key                              Value
http://www.example.com/asd       object A
http://www.abcfood.com/aLink     object A
http://www.abcfood.com/bLink     object B
http://www.abcfood.com/cLink     object C
http://www.example.com/t1        object X

减速器将得到这个：（不保证值的顺序）

Key                              Values
http://www.abcfood.com/          [ "object A", "object C", "object B" ]
http://www.example.com/          [ "object X", "object A" ]

Answer 2

那么是否有可能在reducer中获得有序值呢？
我需要使用排序值（计算通过键传递的值之间的差异）。我遇到了这个问题:)
http://cornercases.wordpress.com/2011/08/18/hadoop-object-reuse-pitfall-all-my-reducer-values-are-the-same/

我明白在减速器中复制值然后对它们进行排序是不好的。我可以得到内存溢出。在将 KEY + Interable 传递给减速器之前，我会更好地对值进行排序。