在 Hive 中,“加载数据本地路径”是否有效?覆盖现有数据还是追加?

发布于 2024-10-30 16:46:21 字数 114 浏览 4 评论 0原文

我希望在 cron 上运行到 Hive 的导入,并且希望仅使用

“将数据本地路径‘/tmp/data/x’加载到表 X”到表中就足够了。

后续命令会覆盖表中已有的内容吗?还是会追加?

I am hoping to run an import into Hive on a cron, and was hoping just using

"load data local inpath '/tmp/data/x' into table X" into a table would be sufficient.

Will subsequent commands overwrite whats already in the table? or will it append?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

恬淡成诗 2024-11-06 16:46:21

此网站 http://wiki.apache.org/hadoop/Hive/LanguageManual 是您的处理 Hive 时的朋友。 :)

解决将数据加载到 Hive 的页面是 http://wiki.apache.org/ hadoop/Hive/LanguageManual/DML
该页面指出

如果使用 OVERWRITE 关键字,则
目标表的内容(或
分区)将被删除并且
替换为引用的文件
文件路径。否则引用的文件
by 文件路径将被添加到
桌子。请注意,如果目标表
(或分区)已经有一个文件
其名字与任何一个相冲突
文件路径中包含的文件名 - 然后
现有文件将被替换
与新文件。

在您的情况下,您没有使用 OVERWRITE 关键字,因此文件将添加到表中。 (除非它们是相同的文件,在这种情况下它们会被覆盖)

This site http://wiki.apache.org/hadoop/Hive/LanguageManual is your friend when dealing with Hive. :)

The page that addresses loading data into Hive is http://wiki.apache.org/hadoop/Hive/LanguageManual/DML
That page states that

if the OVERWRITE keyword is used then
the contents of the target table (or
partition) will be deleted and
replaced with the files referred to by
filepath. Otherwise the files referred
by filepath will be added to the
table. Note that if the target table
(or partition) already has a file
whose name collides with any of the
filenames contained in filepath - then
the existing file will be replaced
with the new file.

In your case, you are not using the OVERWRITE keyword, so the files will be added to the table. (Unless they are the same files, in which case they are overwritten)

十级心震 2024-11-06 16:46:21

如果使用 OVERWRITE 关键字,则目标表(或分区)的内容将被删除并替换为 filepath 引用的文件;否则 filepath 引用的文件将被添加到表中。

If the OVERWRITE keyword is used then the contents of the target table (or partition) will be deleted and replaced by the files referred to by filepath; otherwise the files referred by filepath will be added to the table.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文