调用O91.GetDynamicFrame时发生错误。没有这样的文件或目录

Question

使用AWSGLUESERVICEROLE，我创建了一个胶作业，将一个parquet文件从一个S3存储桶映射到另一个s3。当我尝试运行这项工作时，我会收到以下例外：

“致电O91.getDynamicFrame时发生错误。没有此类文件或目录's3：//bucket/path/path/to/file.parquet'

”文件存在。我的第一个想法是这可能是一个权限问题，所以我尝试在本地计算机上使用boto3获取对象，然后将文件恢复到：

import io
import pandas as pd

s3_client = boto3.client('s3')
obj = s3_client.get_object(Bucket='BUCKET', Key='2022/05/24/08/PATH/TO/FILE.parquet')
print(pd.read_parquet(io.BytesIO(obj['Body'].read())))

------------------ Output bellow ------------------
          id  val1           val2  val3
0     model2    0.612707     None  [[2.1931596, 1.5204412, 1.4174217, 1.6540076, ...
1     model2    0.972054     None  [[1.8610013, 2.1553798], [1.8610013, 2.1553798...
2     model2    0.526641     None  [[1.3793343, 1.430331, 2.1639223], [1.3793343,...
3     model2    0.927919     None  [[2.10741, 1.5591071, 2.1414866, 2.920107], [2...
4     model2    0.243281     None  [[1.2257551, 1.515327, 2.0952048, 1.1441619], ...

我缺少什么？

Answer 1

您需要在存储桶及其对象上的这些权限：

  statement {
    effect = "Allow"
    actions = [
      "s3:Get*",
      "s3:Put*"
    ]
    resources = [
      "arn:aws:s3:::<BUCKET>",
      "arn:aws:s3:::<BUCKET>/*",
    ]
  }

我同意错误消息令人困惑和误导。原因是，作为托管服务，GLUE首先在S3位置执行“列表”操作，然后将结果馈送到getdynamicframe。因此，当它收到accessDenied错误（但不知何故显示我们）和一个空的“列表”，getdynamicframe只是简单地提出no这样的文件或目录错误。总而言之，他们应该在错误处理方面做得更好。