如何获得地图/dict列中每个项目的总计数百分比？

Question

我有一个看起来像这样的pyspark dataframe，我有一个地图数据类型列映射＆lt; str，int＆gt;

 Date              Item (Map<Str,int>)                           Total Items   

2021-02-01    Item_A -> 3, Item_B -> 10, Item_C -> 2                 15
2021-02-02    Item_A -> 1, Item_B -> 5, Item_C ->  7                 13
2021-02-03    Item_A -> 8, Item_B -> 3, Item_C ->  1                 12

我想创建一个新列，该列为我从项目总数中获得的单个项目优势百分比。 item_a /项目总数等所有其他项目。 最终的列也应该是地图。

我想要这样的东西：

 Date              Item (Map<Str,int>)                    Total Items     Item count % 
                                                                        (item/total items)*100

2021-02-01    Item_A -> 3, Item_B -> 10, Item_C -> 5           15     Item_A -> 20%, Item_B -> 66%, Item_c -> 33%
2021-02-02    Item_A -> 1, Item_B -> 5, Item_C ->  7           13    Item_A -> 7%, Item_B -> 38%, Item_C -> 53%
2021-02-03    Item_A -> 8, Item_B -> 3, Item_C ->  1           12    Item_A -> 66%, Item_B -> 25%, Item_C -> 8.3%

我的方法：

df = df.withColumn('Item_count_percentage', F.expr('aggregate(map_values(Item), 0 , (acc, x) -> (acc / int(x)/100)'))
df.show(truncate=False)

Answer 1

• 火花3.0+

  使用

   从pyspark.sql导入为f
  
  df = df.withcolumn（
      “项目计数”，
      f.expr（“ transform_values（item，（k，v） - ＆gt; round（v /`总项目 * 100，1））”）”）
  ）
   

• spark 2.4+

  重新创建地图（ map_from_arrays ）首先提取键（ ，然后值（ map_values ）并应用高订单功能（ transform ）上的值。

   从pyspark.sql导入为f
  
  df = df.withcolumn（
      “项目计数”，
      f.map_from_arrays（
          f.map_keys（'item'），
          f.expr（“ transform（map_values（item），x  - ＆gt; round（x /'总项目 * 100，1））”）
      ）
  ）