将AWS配置文件与FS S3Filesystem一起使用

Question

使用Apache Pyarrow时尝试使用特定的AWS配置文件。 s3filesystem时，没有选项可以传递配置名称。

该文档显示使用Pyarrow fs [https://arrow.apache.org/docs/python/generaty/generat/pyarrow.fs.s3filesystem.html]实例化 使用boto3并使用它：

# include mfa profile
session = boto3.session.Session(profile_name="custom_profile")

# create filesystem with session
bucket = fs.S3FileSystem(session_name=session)

bucket.get_file_info(fs.FileSelector('bucket_name', recursive=True))

但是这也失败了：

OSError: When listing objects under key '' in bucket 'bucket_name': AWS Error [code 15]: Access Denied

是否可以将FS与自定义AWS配置文件一起使用？

〜/.aws/凭据：

[default]
aws_access_key_id = <access_key>
aws_secret_access_key = <secret_key>

[custom_profile]
aws_access_key_id = <access_key>
aws_secret_access_key = <secret_key>
aws_session_token = <token>

其他上下文：用户的所有操作都需要MFA。凭据AWS配置文件存储在CLI上的基于MFA的POST验证中的自定义AWS配置文件，需要在脚本中使用该配置文件

Answer 1

我认为这样更好：

session = boto3.session.Session(profile_name="custom_profile")
credentials = session.get_credentials()

s3_files = fs.S3FileSystem(
    secret_key=credentials.secret_key,
    access_key=credentials.access_key,
    region=session.region_name,
    session_token=credentials.token)

Answer 2

您应该使用环境变量。例如，

import os

os.environ["AWS_PROFILE"] = "custom_profile"

s3fs = fs.S3FileSystem()

Answer 3

如果您使用的是pyarrow.fs.s3filesystem（与S3FS软件包中的S3FileSystem不同），则使用命名SAML配置文件或SSO配置文件的唯一方法是Rafael建议的解决方法

，请注意，该路径并未以'开头' s3：//'

import boto3
session = boto3.session.Session(profile_name="custom_profile")
credentials = session.get_credentials()

from pyarrow.fs import S3FileSystem

fs = S3FileSystem(
    secret_key=credentials.secret_key,
    access_key=credentials.access_key,
    region='your-region-3',
    session_token=credentials.token)

import pyarrow.parquet as pq
df = pq.read_table("bucket_name/path1/path2/",filesystem=fs)
print(df)

Answer 4

一个人可以指定令牌，但还必须指定访问密钥和秘密密钥：

s3 = fs.S3FileSystem(access_key="", 
                     secret_key="",
                     session_token="")

一个人还必须实现一些方法来解析〜/.aws/cordentials文件以获取访问这些值或每次手动执行