PySpark 中的系统采样

Question

我对 PySpark 很陌生，我一直在努力寻找我正在寻找的答案。

我有大量家庭样本，我想进行系统抽样。与真正的系统抽样一样，我希望从随机起点开始，然后定期选择一个家庭（例如，每 50 个家庭）。我已经研究过sample()和sampleBy()，但我认为这些并不是我所需要的。任何人都可以就我如何做到这一点提供任何建议吗？非常感谢您的帮助！

Answer 1

如果您只有 1 个分区，则 monotonically_increasing_id 有效，因此，如果您有多个分区，则可以考虑 row_number。

检查 https 中的“注释” ://spark.apache.org/docs/latest/api/python/reference/api/pyspark.sql.functions.monotonically_increasing_id.html

与行号，

from pyspark.sql import functions as F
df = df.withColumn("index", F.row_number().over(Window.orderBy('somecol')))
     .filter(((F.col('index') + random_start) % 50) == 0)

Answer 2

您可能想要使用 monotonically_increasing_id 然后模以 50 得到你想要的。