fs.s3a.aws.credentials.provider java.lang.classnotfoundexception：类org.apache.hadoop.fs.s3a.auth.iaminstancecredentialsprovider找不到

Question

我正在尝试使用以下依赖项和配置来读取S3的数据：

libraryDependencies += "org.apache.spark" %% "spark-core" % "3.2.0"
libraryDependencies += "org.apache.spark" %% "spark-sql" % "3.2.0"

libraryDependencies += "org.apache.hadoop" % "hadoop-aws" % "3.2.1"
libraryDependencies += "org.apache.hadoop" % "hadoop-client" % "3.2.1"

spark.sparkContext.hadoopConfiguration.set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
spark.sparkContext.hadoopConfiguration.set("fs.s3a.access.key", config.s3AccessKey)
spark.sparkContext.hadoopConfiguration.set("fs.s3a.secret.key", config.s3SecretKey)
spark.sparkContext.hadoopConfiguration.set("spark.hadoop.fs.s3a.aws.credentials.provider", "org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider")

我将错误作为错误 ：class org.apache.hadoop.fs.fs.s3a.auth.iaminstancecredentialsprovider nestion

java.io.ioexception：从选项fs.s3a.aws.credentials.provider java.lang.classnotfoundexception 带有Spark和Hadoop的较旧版本。确切地说，我以前使用了Spark版本2.4.8和Hadoop版本2.8.5

Answer 1

我期待使用Spark 3.2.0和Hadoop 3.2.1的最新EMR版本。基本上，此问题主要是因为 .1 因此，唯一的选择是使用旧版本的EMR。 Spark 2.4.8和Hadoop 2.10.1为我工作。