我们如何使用pyspark垂直向下迭代列？

Question

例如，在col1是列的名称并且具有值1,2,3的数据框中，因此，对于每行，我如何单独迭代10,20,30 ..值？

Answer 1

好吧...坦率地说，在火花中，您只是不迭代。您不会处理火花中的行。您只需学习一种新的思维方式，只处理专栏即可。

例如，您的示例：

df = spark.range(101).toDF("col1")
df.show()
# +----+
# |col1|
# +----+
# |   0|
# |   1|
# |   2|
# |   3|
# |   4|
# |   5|
# |   6|
# |   7|
# |   8|
# |   9|
# |  10|
# |  11|
# | ...|

如果您只想获得col1 = 10，........ 20，........ 30，........ 40 ....... 40 .............................................. .....您必须在那里看到一个序列。您会考虑一下并创建一个规则以智能滤波器您的数据框架：

df = df.filter('col1 % 10 = 0')
df.show()
# +----+
# |col1|
# +----+
# |   0|
# |  10|
# |  20|
# |  30|
# |  40|
# |  50|
# |  60|
# |  70|
# |  80|
# |  90|
# | 100|
# +----+

在Spark中，行订单绝不是确定性的。每个动作都会改变行顺序。分类可用，但是它是昂贵且不切实际的，因为下一个操作会破坏订单。当您排序时，将所有内容都拉到一台计算机中（仅当数据在一个节点上时，您至少可以暂时保留订单，因为通常数据在许多机器上分配，并且它们都不是“第一个”或“第二”或“第二”） 。在分布式计算中，数据应尽可能保持分布。

也就是说，很少需要迭代。有df.collect（）（与排序相同）将所有行收集到一台计算机（驱动程序 - 最弱的机器）中的一个列表中。应该避免此操作，因为它会扭曲分布式计算的性质。但是在极少数情况下，它被使用。在行上迭代是一个例外。几乎所有数据操作都是可能的，而无需迭代。您只需搜索网络，思考并学习新的做事方式即可。