hadoop 统计分析oracle数据库的数据

发布于 2021-11-22 10:35:43 字数 223 浏览 780 评论 2

最近要做个应用功能的探讨,把oracle的大量数据分布式统计分析。。查了几天资料,有些说使用sqoop导出oracle数据为hdfs文件,但是文件名却不能指定,到时候mapreduce统计分析的时候怎么读取指定的文件呢?还有就是sqoop把oracle数据导入到hive,在使用hive api执行hive sql语句分析。不知道是不是这样的。。怎么把oracle的数据导入hadoop系统分布式统计分析????希望有人能够给点思路。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

柒夜笙歌凉 2021-11-26 15:13:59

我给你提供两个思路:

1、MapReduce直接读取Oracle中的数据做统计,官方代码中有示例,Map阶段支持读取RDMS中数据,代码可参考Hadoop源码中的MapReduce Examples。

2、可以把数据导入HBase,MapReduce读取HBase做统计。

3、有问题可以再一起探讨,我的QQ497916762

后知后觉 2021-11-26 11:58:03

都5个月了,还要回答么?

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文