如何最好地实现动态DBT数据集

Question

我正在清理DBT + BigQuery环境，并试图实现从分期数据集中拉出的登台环境。问题是当前 .yml 带有源信息的文件都明确指向生产数据集。

我正在考虑的一个选项是 source 包装器函数，它将用作适配器并根据某些传递的CLI var 或配置文件注入适当的数据集（这对分阶段与产品环境）。

但是，我是DBT的新手，因此不确定这是否是最好的方法。您会很感激您善良的人都有的任何见解：:)

编辑：我意识到 source 包装器不是要走的方法，因为它会弄乱生成的dag

Answer 1

您可以在a 环境变量，并在运行时设置该变量。

在您的 sources.yml 中：

version: 2

sources:
  - name: jaffle_shop
    schema: "{{ var('source_jaffle_shop_schema) }}"
    tables:
      - name: orders

在您的 dbt_project.yml 中：

vars:
  - source_jaffle_shop_schema: MY_DEFAULT_SCHEMA

然后在运行时覆盖：

dbt run --vars "{source_jaffle_shop_schema: my_other_schema}"