如何按照数据框的大小过滤（以字节）进行过滤记录

Question

我有一个数据框，在Pyspark中，需要根据其大小（IN字节）过滤其记录。

我们正在应用此逻辑，但在所有情况下似乎都没有起作用。

purge_timestamp = getPurgeTimestamp()
updatedFrame = df.withColumn('ttlExpDate', lit(purge_timestamp).cast("long"))

...

columns = updatedFrame.columns
dfFinal = updatedFrame.withColumn('size', getSize(to_json(struct([updatedFrame[x] for x in columns]))))
dfFinal = dfFinal.withColumn('s3Key', lit(""))

...

dfFinal = updatedFrame.withColumn('size', getSize(to_json(struct([updatedFrame[x] for x in columns]))))

...

@udf(returnType=IntegerType())
def getSize(value):
value = json.dumps(value)
return len(value.encode('utf-8', 'ignore'))//1024

我没有日志可以显示，因为我们正在处理数百万个记录，并且无法打印每个步骤的结果。

感谢帮助:)

谢谢！