如何隐藏AWS_KEY_ID和AWS_SECRET_KEY在AWS MWAA中的渲染模板下

Question

我使用的是AWS托管气流（MWAA），并使用2.0.2版的气流。要在Snowflake中设置外部表格，我正在使用IAM用户，我需要在创建阶段语句中通过AWS_KEY_ID和AWS_SECRET_KEY。我通过从AWS Secrets Manager中阅读AWS_KEY_ID和AWS_SECRET_KEY来模板并通过AWS_KEY_ID和AWS_SECRET_KEY。以下是我的创建阶段语句的

创建或替换stage dev_stage.product_analytics.propsect_square_sftp_campaign_data0 url ='s3：// s3：// rlg-eapedw-qa-curatedzone/nrtllc/curate_zone/capeip_zone/campaire'rectientals = （aws_key_id ='{{task_instance.xcom_pull（task_ids ='read_secrets_manager'，key ='step_data_1'}}'aws_secret_keykey =' file_format =（type = parquet）;

但是我发现，在代码成功运行后，渲染器显示AWS_KEY_ID和AWS_SECRET_KEY。我想知道如何避免这种情况。我尝试使用airflow.utils.log.secrets_masker import mask_secret的mask_secrets，但似乎在2.0.2中不支持这一点。

想知道有人在AWS上解决了这个问题。

Answer 1

您可以使用雪花存储集成。

遵循本指南，并配置IAM角色和策略 +雪花的集成本身。
https：///docs.snowflake。 com/en/ensure-guide/data-load-s3-config-storage-integration.html

最终您最终会得到像这样的查询：

create stage {stage_name}
storage_integration = {integration_name}
url= {'s3://...'}
file_format=(TYPE = csv SKIP_HEADER = 1);