如何将<文件名>.csv.gz从雪花阶段加载到雪花表中？

Question

我已成功将 1000 个文件加载到 Snowflake stage=MT_STAGE 中。 每个文件都有完全相同的架构。 每个文件都有完全相同的命名约定（文件名）.csv.gz 每个文件大约 50 兆（+/- 几兆）。 每个文件都有 115k-120k 条记录。 每个文件有 184 列。 我创建了一个雪花表=MT_TABLE。 我在尝试执行“COPY INTO”将文件从阶段移动到单个表中时不断出现错误。 我已经尝试了无数种命令的变体，包括 &没有不同的选择。我花了三天时间阅读文档并尝试观看视频。我失败了。有人可以帮忙吗？

copy into MT_TABLE from @MT_STAGE;

执行复制并处理 0 个文件

copy into MT_TABLE from @MT_STAGE (type=csv field_delimiter=”,” skip_header=1);

语法错误：意外的“(”。（第 1 行）

copy into MT_TABLE from @MT_STAGE type=csv field_delimiter=”,” skip_header=1;

语法错误：意外的“”，'。 （第 1 行）

Answer 1

因此，根据迈克的声明，如果您的数据中有逗号

col_a	col_b	col c
无逗号	一，逗号	二，, 逗号，

col_a, col_b, col_b
no comma, one, comma, two,, commas

如何才能知道哪个是了解

col_a	col_b	col c
无逗号	一，逗号	二 中内容的正确方法,, 逗号
无逗号,一	,逗号	二,,逗号
无逗号	一,逗号,二	,逗号
无逗号,一	,逗号,二	,逗号
无逗号	一，逗号，二，	逗号
没有逗号，一	，逗号，二，	逗号

这是正确的行。

因此，您可以将字段分隔符从 , 更改为管道 | 或者引用数据

no comma| one, comma| two,, commas

双引号

"no comma","one, comma"," two,, commas"

单引号

'no comma','one, comma',' two,, commas'

很酷的事情是，如果您更改列分隔符，则它必须不改变位于数据中或必须引用数据。

如果您更改为引用，则它必须不在归档中，否则必须进行转义。

或者您可以编码为某种安全数据类型，例如 base64，它会占用更多空间，但现在它是运输安全的：

bm8gY29tbWE,IG9uZSwgY29tbWE,IHR3bywsIGNvbW1hcw