从 S3 到 HDFS 的 Distcp

Question

我正在尝试使用 distcp 工具将数据从 S3 复制到 HDFS。问题是，S3 集群使用 VPC 端点，我不知道如何正确配置 distcp。我已经尝试了几种配置，但没有一个起作用。目前我使用以下命令：

hadoop distcp 
-Dfs.s3a.access.key=[KEY]
-Dfs.s3a.secret.key=[SECRET]
-Dfs.s3a.region=eu-west-1 
-Dfs.s3a.bucket.[BUCKET NAME].endpoint=https://bucket.vpce-[vpce id].s3.eu-west-1.vpce.amazonaws.com
s3a://[BUCKET NAME]/[FILE] 
hdfs://[DESTINATION]/[FILE]

但我收到此错误：

22/03/16 09:14:39 ERROR tools.DistCp: Exception encountered org.apache.hadoop.fs.s3a.AWSBadRequestException: doesBucketExistV2 on [BUCKET NAME]: com.amazonaws.services.s3.model.AmazonS3Exception: The authorization header is malformed; the region 'vpce' is wrong; expecting 'eu-west-1'

任何想法如何使用 VPC 端点配置 Distcp？

提前致谢

Answer 1

1. 为此，您需要 hadoop 3.3.1，然后它应该可以工作。理想情况下使用 3.3.2，现在可以
2. 获取 cloudstore jar 并使用其 storediag< /code> 在接近 distcp 之前调试此命令。