Spark Write（Parquet）到本地HDFS花费很长时间

Question

上下文：

我有一个非常简单的 scala/spark 作业，我通过 SPARK JDBC READ 从 Microsoft SQL Server 关系数据库中的表中读取数据。读取的数据进入 DataFrame，然后我使用“df.write.option("compression", "snappy").parquet(outputDir)" 将这些数据写入本地 HDFS。

问题：

表非常小（小于1GB），但读取和读取需要2.2小时。写入HDFS。 我已经尝试禁用写入和读取速度非常快，换句话说，写入是这里的问题。

暂定：

• 已经尝试过大（92GB）和小（900mb）数据集。写入时间非常相似
• 已经尝试将提交者算法版本从1更改为2“spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version”，“2”
• 已经尝试删除镶木地板_SUCCESS文件创建 "mapreduce.fileoutputcommitter.marksuccessfuljobs", "false"
• 我已经在使用 "spark.serializer", "org.apache.spark.serializer.KryoSerializer"

Spark 提交配置：

"spark.executor.instances": 20
"spark.sql.shuffle.partitions": 1000,
"spark.sql.parquet.compression.codec": "snappy",
"spark.port.maxRetries": 1000,
"spark.sql.broadcastTimeout": 36000,
"spark.executor.extraJavaOptions": "-XX:+UseG1GC",
"spark.driver.maxResultSize": "32G",
"spark.yarn.maxAppAttempts": 1,
"spark.dynamicAllocation.enabled": "false",
"spark.driver.cores": 1,
"spark.driver.memory": "20G",
"spark.driver.memoryOverhead": "2G",
"spark.executor.cores": 4,
"spark.executor.memory": "10G",
"spark.executor.memoryOverhead": "1G",
"spark.network.timeout": 360000,
"spark.executor.heartbeatInterval": 288000,
"spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version": 2,
"spark.hadoop.mapred.output.committer.class": "org.apache.hadoop.mapred.DirectFileOutputCommitter",
"spark.hadoop.mapreduce.use.directfileoutputcommitter": "true",
"spark.hadoop.mapreduce.use.parallelmergepaths": "true",
"mapreduce.fileoutputcommitter.marksuccessfuljobs": "false"

一些代码详细信息：

将数据写入HDFS的方法

df.write
  .mode(saveMode)
  .option("compression","snappy")
  .parquet(source.sourceOutputDir)

版本：

• Scala 2.11.2
• Spark 2.4.0

观察：

• 代码中没有JOIN，
• 它只是读取DataFrame &写入HDFS