针对hadoop中的数据如何打标签,实现思路?

发布于 2021-12-08 12:01:03 字数 104 浏览 864 评论 5

需要针对 存储的数据根据规则打上标签、想的是 spark streaming 监控 hdfs 文件变动,看能不能获取到所需的数据,感觉不行啊。。求助!!!,是我思路有问题吗?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(5

输什么也不输骨气 2021-12-08 20:00:24

大锅,是写Hql去轮询查出来处理吗?能否,言明真相!!

一个人的旅程 2021-12-08 19:58:34

回复
@大树被注册了 : Hql肯定是必须的,如果不想手动执行,也可以使用一些调度框架,去定时执行。

流心雨 2021-12-08 19:58:25

数据的etl,可以用hive啊,跟hadoop无缝衔接。

疑心病 2021-12-08 19:44:58

就是不懂啊!!!

各自安好 2021-12-08 18:47:41

 spark streaming 不是流式处理吗? 监控hdfs文件变动 怎么监控?

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文