在 DBT 中自动创建 sql 文件

Question

嘿，我是 DBT 的初学者，我正在尝试创建暂存层。我已经创建了表架构，现在想要自动化创建模型的过程，因为我必须创建超过 100 个 SQL 模型。

我的模式就像（xyz.yml）：

- schema: xyz

  tables:    
    - name: abc
      loaded_at_field: updated_at
      freshness:
        warn_after: {count: 24 , period: hour}
        filter: updated_at>current_date-7
    - name: def
      loaded_at_field: updated_at
      freshness:
        warn_after: {count: 24 , period: hour}
        filter: updated_at>current_date-7   
    - name: ghi    
    - name: jkl       
    - name: mno 

将为每个表名生成 SQL 模型。我有超过 100 个表，希望为 dbt 中的所有表名自动创建暂存模型 SQL 文件（如 xyz_abc.sql）。

Answer 1

您可以为此编写一个小 python 脚本（或任何其他与此相关的工具）。

我的意思是，这很大程度上依赖于知道如何编写 python...

代码应该类似于：

import yaml

with open('{YOUR PATH TO THE SCHEMA FILE}/schema.yaml','r') as file:
    schema = yaml.safe_load(file)
    
names = [table['name'] for table in schema['tables']]

for name in names:
   with open(f'{name}.sql', 'w') as file:
       file.write(f'SELECT * FROM {name}')

注意：我没有测试此代码

Answer 2

你可以像上面提到的@MYK一样编写一个python脚本。但还有一个用于创建 schema.yml 和模型文件的 dbt 包，

请查看此包。
https://github.com/dbt-labs/dbt-codegen

你可能仍然想要使用一些 python 来清理输出并向 codegen 动态提供表名称。

Answer 3

总的来说，我对生成 100 个模型的想法持批评态度。
原因很简单：除非您只需要读取这 100 个表的数据并“按原样”公开它们，否则您将需要对它们应用一些业务逻辑。

如果您属于第一种情况...为什么您需要 dbt？

如果您要应用一些业务逻辑...编写代码是最耗时的操作：如果您尝试具体化数据并保存更改，您需要知道主键，如果您想组合来自多个系统的数据您需要了解业务键并拥有映射表以及如何应用主数据管理的一些想法...编写可以生成的代码是最不重要的问题。

如果您的项目有 100 个表，这可不是一件简单的工作，并且假设您需要使用所有 100 个表，您将需要了解它们并在它们上编写业务规则。
在这种情况下，自动模型生成将节省在每个表上花费的一小部分时间......那么为什么还要麻烦呢？

IMO 最好有一些东西可以帮助您节省繁重的工作，但是您编写每个模型，以便确保应用正确的模式。

另外，我确实更喜欢仅在需要时添加表，使用 dbt codegen 包之类的东西，或者，如果您有要使用的可重复模式，则使用 INFORMATION_SCHEMA 中的 COLUMNS 视图自行编写的 SQL 查询来为您提供表您在应用 PATTERN 的模板中容纳的特定值。

像下面这样的查询已经在很大程度上为您提供了表的功能，以便您可以更改您不喜欢的名称，并以最小的努力应用最终的转换或其他硬业务规则：

SELECT ', ' || COLUMN_NAME || ' as '|| COLUMN_NAME || ' -- ' || DATA_TYPE as SQL_TEXT
FROM <db>.INFORMATION_SCHEMA.COLUMNS
WHERE TABLE_SCHEMA = 'XXX' and TABLE_NAME = 'YYY'
ORDER BY ORDINAL_POSITION;

然后您在以下位置添加一个模型 ：当您真正需要它时（YAGNI 原则），而无需从某些数据源“加载所有表”开始。

PS 您不需要重复相同的新鲜度 SLA 定义 100 次。
您可以在源系统级别声明一次，然后覆盖特定表的不同参数。
首先在容易的地方节省复杂性；）