在Python中使用Hadoop处理大型csv文件

Question

我有一个巨大的 CSV 文件，想在 Amazon EMR (python) 上使用 Hadoop MapReduce 进行处理。

该文件有 7 个字段，但是，我只查看日期和数量字段。

 "date" "receiptId" "productId" "quantity"  "price" "posId" "cashierId"

首先，我的mapper.py

import sys

def main(argv):
    line = sys.stdin.readline()
    try:
        while line:
            list = line.split('\t')

            #If date meets criteria, add quantity to express key
                if int(list[0][11:13])>=17 and int(list[0][11:13])<=19:
                    print '%s\t%s' % ("Express", int(list[3]))
            #Else, add quantity to non-express key
                else:
                    print '%s\t%s' % ("Non-express", int(list[3]))

            line =  sys.stdin.readline()
except "end of file":
        return None
if __name__ == "__main__":
        main(sys.argv)

对于reducer，我将使用流命令：aggregate。

问题：

1. 我的代码正确吗？我在 Amazon EMR 中运行它，但输出为空。

2. 所以我的最终结果应该是：快递，XXX 和非快递，YYY。我可以让它在返回结果之前进行除法运算吗？只是 XXX/YYY 的结果。我应该把这段代码放在哪里？减速器??

3. 此外，这是一个巨大的 CSV 文件，因此映射会将其分成几个分区吗？或者我需要显式调用 FileSplit 吗？如果是这样，我该怎么做？

Answer 1

在这里回答我自己的问题！

1. 代码错误。如果您使用聚合库来减少，您的输出不会遵循通常的键值对。它需要一个“前缀”。

   if int(list[0][11:13])>=17 且 int(list[0][11:13])<=19:
       #这才是聚合库正确的打印方式
       #将所有内容打印为字符串。
       print "LongValueSum:" + "Express" + "\t" + list[3]
   

   其他可用的“前缀”有：DoubleValueSum、LongValueMax、LongValueMin、StringValueMax、StringValueMin、UniqValueCount、ValueHistogram。有关更多信息，请查看此处 http://hadoop.apache.org/common/docs/r0.15.2/api/org/apache/hadoop/mapred/lib/aggregate/package-summary.html。

2. 是的，如果您想做的不仅仅是基本总和、最小值、最大值或计数，您需要编写自己的减速器。

   是的

3. 我还没有答案。