当前位置：文江博客话题详情

将 Pig 结果导出到数据库的方法

发布于 2024-10-11 09:51:58 字数 36 浏览 5 评论 0原文

有没有办法将Pig的结果直接导出到mysql这样的数据库？

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

固执像三岁 2024-10-18 09:51:58

在牢记 Orangeoctopus 所说的同时（谨防 DDOS...），您是否查看过 DBStorage?

data = LOAD '...' AS (...);
...
STORE data INTO DBStorage('com.mysql.jdbc.Driver', 'dbc:mysql://host/db', 'INSERT ...');

While keeping in mind what orangeoctopus said (beware of DDOS...) have you had a look to DBStorage?

data = LOAD '...' AS (...);
...
STORE data INTO DBStorage('com.mysql.jdbc.Driver', 'dbc:mysql://host/db', 'INSERT ...');

回复收藏 0 原文

極樂鬼 2024-10-18 09:51:58

我看到的主要问题是每个减速器实际上都会在同一时间插入数据库。

如果您认为这不是问题，我建议您编写自定义存储方法使用 JDBC（或类似的方法）直接插入数据库而不向 HDFS 写入任何内容。

如果您害怕对自己的数据库执行 DDOS 攻击，也许在 HDFS 上收集数据并执行单独的批量加载到 mysql 中会更好。

回复收藏 0 原文

小鸟爱天空丶 2024-10-18 09:51:58

我目前正在试验嵌入式 Pig 应用程序，该应用程序通过 PigServer.OpenIterator 和 JDBC 连接。它在测试中效果很好，但我还没有大规模尝试过。这类似于已经建议的自定义存储方法，但从单点运行，因此不会发生意外的 DDOS 攻击。如果您不运行数据库服务器上的负载（我个人更喜欢除了数据库本身之外什么也不运行），那么您实际上最终会支付两次网络传输成本（集群 -> 登台计算机，登台计算机 -> 数据库服务器）数据库服务器），但这与“写出文件并批量加载它”选项没有什么不同。

回复收藏 0 原文

故事灯 2024-10-18 09:51:58

Sqoop 可能是个好方法，但很难设置（恕我直言），因为所有这些 Hadoop 相关项目......

Pig 的 DBStorage 运行良好（至少在存储方面）。

不要忘记注册 PiggyBank 和 MySQL 驱动程序：

-- Register Piggy bank
REGISTER /opt/cmr/pig/pig-0.10.0/lib/piggybank.jar;

-- Register MySQL driver
REGISTER /opt/cmr/mysql/drivers/mysql-connector-java-5.1.15-bin.jar

以下是示例调用：

-- Store a relation into a SQL table
STORE relation INTO 'unused' USING org.apache.pig.piggybank.storage.DBStorage('com.mysql.jdbc.Driver', 'jdbc:mysql://<mysqlserver>/<database>', '<login>', '<password>', 'REPLACE INTO <table> (<column1>, <column2>) VALUES (?, ?)');

Sqoop may be the good way to go, but it is difficult to set-up (IMHO) as all these Hadoop related projects...

Pig's DBStorage is working fine (at least for storing).

Don't forget to register the PiggyBank and your MySQL driver:

-- Register Piggy bank
REGISTER /opt/cmr/pig/pig-0.10.0/lib/piggybank.jar;

-- Register MySQL driver
REGISTER /opt/cmr/mysql/drivers/mysql-connector-java-5.1.15-bin.jar

Here is a sample call:

-- Store a relation into a SQL table
STORE relation INTO 'unused' USING org.apache.pig.piggybank.storage.DBStorage('com.mysql.jdbc.Driver', 'jdbc:mysql://<mysqlserver>/<database>', '<login>', '<password>', 'REPLACE INTO <table> (<column1>, <column2>) VALUES (?, ?)');

回复收藏 0 原文