如何上传包含DBT NEWLINE的CSV数据

Question

我有一个第三方生成的CSV文件，我希望使用dbt seed上传到Google BigQuery。

我设法将其手动上传到BigQuery，但是我需要启用默认情况下的“引用Newlines”。

当我运行dbt seed时，我会收到以下错误：

16:34:43  Runtime Error in seed clickup_task (data/clickup_task.csv)
16:34:43    Error while reading data, error message: CSV table references column position 31, but line starting at position:304 contains only 4 columns.

CSV中有32列。该文件包含带有新线的列值。我想这就是DBT解析器失败的地方。我检查了 dbt种子配置选项，但我没有发现任何相关的内容。

有什么想法吗？

Answer 1

据我所知 - 种子功能受到 dbt-core 内置功能的很大限制。所以种子不是我来这里的方式。您可以查看扩展种子选项的请求历史记录 here dbt-cre issues repo（包括我自己对类似可选性的请求#3990 ），但我必须看到这方面有任何真正的吸引力。

---

也就是说，对我来说非常有效的是将 gcp 项目中的平面文件存储在 gcs 存储桶中，然后利用 dbt-external-tables 包，用于非常相似但更强大的文件结构。我知道管理这个可能会产生很大的开销，但如果您的种子文件继续以可以利用分区的方式扩展，那么它就变得非常值得。

更重要的是 - 正如 Jeremy 在 stackoverflow 上的这个答案中提到的，

dbt-external-tables 包支持传递 BigQuery 外部表的选项，映射到此处记录了选项。

对于您的情况，应该是 quote 或 allowQuotedNewlines 选项。如果您确实选择使用dbt-external-tables，您的source.yml将类似于：

gcs.yml

version: 2

sources:
  - name: clickup
    database: external_tables
    loader: gcloud storage
  
    tables:
      - name: task
        description: "External table of Snowplow events, stored as CSV files in Cloud Storage"
        external:
          location: 'gs://bucket/clickup/task/*'
          options:
            format: csv
            skip_leading_rows: 1
            quote: "\""
            allow_quoted_newlines: true

或非常类似的东西。
如果您最终选择此路径并将任务数据存储在日常分区上，例如 tasks_2022_04_16.csv - 您可以访问该文件名和其他元数据，所提供的伪列也由 Jeremy 在此处与我共享：

<一个href="https://stackoverflow.com/questions/66143582/retrieve-filename-from-gcp-storage-during-dbt-external-tables-sideload/66153656#66153656">在 dbt 期间从 GCP 存储中检索“文件名”-外部表侧载？

我发现它是一套非常强大的文件工具特别是 BigQuery。