Spark 结构化流 qubole Kinesis 连接器错误并显示“获取凭据时出现异常”

Question

我使用以下代码从 Spark 结构化流代码写入 Kinesis。它因以下错误而出错。 AWS 凭证具有管理员访问权限。我可以使用 aws 控制台。这里可能有什么问题？

22/03/16 13:46:34 错误 AWSInstanceProfileCredentialsProviderWithRetries：获取凭证 org.apache.spark.sql.kinesis.shaded.amazonaws.SdkClientException 时出现异常：无法从服务端点加载凭证

val finalDF = rawDF.select(expr("CAST(rand() AS STRING) as partitionKey"),
   to_json(struct("*")).alias("data"))
finalDF.printSchema()
val query = finalDF.writeStream
  .outputMode("update")
  .format("kinesis")
  .option("streamName", "sparkstream2")
  .option("endpointUrl", "https://kinesis.us-east-1.amazonaws.com")
  .option("region", "us-east-1")
  .option("awsAccessKey", "")  // Creds removed
  .option("awsSecretKey", "")  // Creds removed
  .option("checkpointLocation", "chk-point-dir")
  .start()
query.awaitTermination()
spark.stop()

Printschema 输出如下所示 根 |-- 分区键：字符串（可空 = false） |-- data: string (nullable = true)

我正在使用 qubole 的连接器 https://github.com/qubole/kinesis-sql

Answer 1

我也遇到了这个问题 - 添加 .option("awsUseInstanceProfile", "false")。默认情况下，kinesis-sql 包并不像人们预期的那样处理 AWS 凭证。我在这里找到了这个 GitHub 问题作为线索。