计算每年提供的评分记录数

Question

我的映射器是：

import sys

for line in sys.stdin:
    # split line into the four fields
    fields = line.strip().split("\t")

    value = fields[2] #rating
    key = fields[3] #timestamp in unix seconds
    
    print(key, value, sep="\t")

我的还原器是：

import sys
                                     
(last_key , count) = (None, 0)

for line in sys.stdin:

    (key, value) = line.strip().split("\t")
   
    if  (last_key  and last_key  !=key):
          print(last_key, count, sep="\t")
          count=0
    
    last_key  = key
    count += int(value)
    
          
print(last_key, count, sep="\t")  

如何获得评级数？映射器工作正常。我什么时候应该转换时间戳（在这种情况下为last_key）

输出应为（年度\ t评级记录的数量）

Answer 1

如果您想减少（分组）年度字符串，那需要是映射器的钥匙，而不是具有第二个精确效果。

之后，您只需要计算还原器中该键的值数量即可。 （映射器的值只能是1，而不是实际值，如果您只需要 count ，则还原器可以sum值）

我建议使用 而不是从sys.stdin中手动阅读，或者您可以在Pyspark中重写代码，并以更少的行进行相同的操作。