从 EC2 实例调用 Python boto3 API 时，与 sts.amazonaws.com 的连接超时

Question

我正在尝试设置一些基于 EC2 实例的构建和部署服务器，以通过 CloudFormation 将软件部署到 AWS。

当前设置使用 AWS CLI 部署 CloudFormation 模板，并使用凭证配置文件处理身份验证，其中 ~/.aws/config 文件的配置文件包含：

[profile x]
role_arn = x
credential_source = Ec2InstanceMetadata
region = x

使用 AWS CLI 的设置似乎是工作正常，并且可以部署 CloudFormation 模板、将文件上传到 S3 等。

我想进一步实现自动化，并使用基于配置的方法来让我们的部署更加灵活。为了实现这一目标，我编写了一些 Python 代码来解析配置文件并使用 Boto3 库（AWS CLI 也使用该库）来复制该功能。但是，当我尝试在 Boto3 中执行类似操作（例如部署 CloudFormation 并将文件上传到 S3）时，出现以下错误：与 sts.amazonaws.com 的连接超时。不幸的是，我无法提供完整的堆栈跟踪，因为它位于单独的网络上。我正在运行 Python 3.7 和 boto3-1.21-13、botocore-1.24.13。

我认为这可能是因为我需要设置 VPC 终端节点 对于STS？但是，我无法弄清楚 AWS CLI 工作正常的原因和方式，但 Boto3 却不能。特别是因为 AWS CLI 在底层使用 Boto3。

此外，我已确认我可以检索实例元数据在 EC2 实例中使用curl。 要重现该错误，此命令对我来说失败：

python -c "import boto3;print(boto3.Session(profile_name='x').client('s3').list_objects('bucket')"

但是这个 AWS cli 命令可以工作：

aws --profile x s3 ls bucket

我想我不明白为什么当 boto3 命令失败时 AWS CLI 命令可以工作。当 AWS CLI 似乎没有调用 sts.amazonaws.com 端点时，我缺少什么？

Answer 1

是的，结果我只需要设置/导出 AWS_STS_REGIONAL_ENDPOINTS='regional'。

经过几个小时的搜寻 botocore 和 awscli 源代码和日志后，我发现 botocore 默认将其设置为 “遗留”。
在 AWS CLI v2 中，他们将其设置为 '区域'。

Answer 2

aws cli 和 boto3 都使用 botocore，这只是一个小细节。尽管如此，当 cli 和 boto3 在具有相同凭证访问权限的同一环境中运行时，确实应该能够到达相同的端点。

This:

aws sts get-caller-identity --profile x

和:

python -c "import boto3;print(boto3.Session(profile_name='x').client('sts').get_caller_identity())"

是等效的，并且应该对同一端点进行相同的 api 调用。

---

顺便说一句，我发现通常最好不要让代码涉及会话处理。对我来说，代码期望环境来处理这个问题似乎是最简单的。因此，只需导出 AWS_PROFILE 并运行代码即可。这可以防止脚本的其他用户必须具有相同的配置文件并将其命名为相同的配置文件。