mapReduce 模式的最佳 python 实现是什么？

Question

MapReduce 的最佳 Python 实现是什么，是一个框架还是一个库，可能与 Apache hadoop 一样好，但只要它是用 Python 实现的，并且在良好的文档和文档方面是最好的易于理解，完全实现MapReduce模式，高扩展性、高稳定性、轻量级。

我在谷歌上搜索了一个名为 mincemeat 的东西，不太确定，但是还有其他众所周知的吗？

谢谢

Answer 1

如果你搜索的话，到处都有一些作品。例如 Octopy 和 Disco 以及 Hadoopy。

但是，我不认为它们中的任何一个可以在成熟度、稳定性、可扩展性、性能等方面与Hadoop竞争。对于小案例来说它们应该足够了，但是对于更“辉煌”的东西，你必须坚持使用Hadoop。

请记住，您仍然可以使用 python/jython 在 Hadoop 中编写 map/reduce 程序。

编辑：我最近遇到了 mrjob。这看起来很棒，因为它简化了编写 Map/Reduce 程序，然后在 Hadoop 或 Amazon Elastic MapReduce 平台上启动它们的方式。带来好消息的文章是

Answer 2

2019年更新：
强烈推荐 Apache Beam。

===

另一个不错的选择是Dumbo。

下面是运行 Map/Reduce 进行字数统计的代码。

def mapper(key,value):
  for word in value.split(): yield word,1
def reducer(key,values):
  yield key,sum(values)

if __name__ == "__main__":
  import dumbo
  dumbo.run(mapper,reducer)

要运行它，只需输入文本文件 wc_input.txt 进行计数，输出保存为 wc_output。

 python -m dumbo wordcount.py -hadoop /path/to/hadoop -input wc_input.txt -output wc_output

Answer 3

您还应该看看夫人：http://code.google.com/p/mrs-mapreduce /

它特别适合计算密集型迭代程序。