DBT可以直接连接到Google表格吗？

Question

目前，我们有一个DBT实例，该实例位于我们的Google BigQuery数据仓库上。现在，我们最近被要求将Google表中的一些数据纳入我们的建模中。

这样，DBT是否有可能直接与Google表面联系？ IE将Google表配置为.yml文件中的直接外部数据源，或者DBT可能会运行某种BigQuery Federated SQL语句？

有一个DBT软件包，称为dbt-external-tables（），但这似乎只能与Google Cloud clough Storage Buckets中的BigQuery +文件一起使用。

但是，我在论坛和文档中看到的常见和最直接的选项是在Google Sheep顶部在BigQuery上创建一个外部表。然后将DBT连接到外部BigQuery表。

只是想检查上述集成DBT X Google Sheets X BigQuery的常见选项实际上是唯一的选择，或者实际上是否有一种方法可以让DBT直接连接到Google Sheets，然后才击中BigQuery？

谢谢

Answer 1

从我在 dbt-external-table上看到的内容 side，bigquery适配器折叠到 ddl语句对于 create_external_table 宏。

不幸的是，我只是看不到Google表“外部”定义的类似DDL语句。如果我不得不猜测，UI似乎可以通过 bq CLI客户端执行某些内容，以通过Web门户创建。

如果将部分添加到该指南包括DDL定义对于基于Google Drive 的外部资源，这可能会成为前面提到的外部桌子的DBT宏的相对容易的构建。在此之前，您必须通过UI， bq 客户端或REST API来定义此问题。

Answer 2

您可以使用 dbt_external_tables 设置Google Sheet作为源，如果使用BigQuery （编辑2023-08-10，基于Databricks用户的反馈）。上周刚刚找到了这个。这是指定模式的示例。如果您遗漏了列，应该可以自动检索，但是在我所做的工作表上对我无效。

2023-04-21更新更好的配置示例和命令。

这是一个显示配置的架构和自动检索的配置，它们对我有用。

version: 2
sources:
  - name: google_sheets
    description: >
      This source contains data stored in Google Sheets that are manually maintained.
    project: my-project
    dataset: stage_google_sheet
    loader: external_table
    tags:
      - source
      - google_sheet
    tables:
      - name: marketing_taxonomy
        description: >
          Marketing source channels, categories, etc.
        external:
          options:
            format: GOOGLE_SHEETS
            uris: ['https://docs.google.com/spreadsheets/d/[SHEET-ID]']
            sheet_range: data
            skip_leading_rows: 1
        columns:
          - name: source_raw
            data_type: STRING
          - name: source
            data_type: STRING
          - name: channel
            data_type: STRING
          - name: source_type
            data_type: STRING
          - name: source_category
            data_type: STRING
          - name: new_channel
            data_type: STRING
      - name: kpi_metrics_targets
        description: >
          KPI's maintained by FP&A
        external:
          options:
            format: GOOGLE_SHEETS
            uris: ['https://docs.google.com/spreadsheets/d/[SHEET-ID]']
            sheet_range: 'Monthly Targets'
            skip_leading_rows: 1

对于新手的 dbt_external_tables 的人，您必须运行以下命令，然后才能引用源：

dbt run-operation stage_external_sources-args -args-args“ select：google_sheets”

使用您的更新源名称。就我而言，我必须添加 -vars“ ext_full_refresh：true” 选项。在所有情况下，这都是不需要的。

编辑：这是在BigQuery中起作用的，因为BigQuery支持Google表的创建外部表语句。请参阅：