Pyspark - 将数据帧写入 json 时限制文件大小

Question

我正在使用 pyspark v3。我使用以下代码将数据帧写入 json 文件，我们如何将输出文件的大小限制为 100MB ？

    data_frame\
        .coalesce(1)\
        .write\
        .mode("overwrite")\
        .option("ignoreNullFields", "false")\
        .format("json")\
        .save(path)

Answer 1

Spark 可以选择使用 spark.sql.files.maxRecordsPerFile 配置来限制每个文件的行数和文件大小（请参阅 此处）。

您可以尝试估计应该有多少行才能将限制限制在 100MB 左右（这是一个估计值，因为这取决于格式和数据）。