flume-ng 使用 MySQL Sink

发布于 2022-08-25 00:31:31 字数 247 浏览 14 评论 0

我准备使用apache flume 1.3 来处理日志的收集工作,日志的量不是很大,每天10个G左右,
我准备仅把WARN和ERROR级别的日志抽取出来保存,供后续分析使用。
由于目前这两类数据不会很多,初步打算把他们写入MySQL DB, 使用起来方便一些。

问题:
1. 官方文档没有提供到普通关系数据的Sink实现,我是否需要自己实现,或者是否已经有比较好的第三方实现?
2. 把日志写入MySQL是否是个好主意?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(4

瞎闹 2022-09-01 00:31:31

flume本身没有实现,自己写个插件吧,不费力。
将日志写到mysql没问题的,但是得考虑到分表,也便于以后统计。

夏日浅笑〃 2022-09-01 00:31:31

1.没有
2.MySQL存日志不是一个好主意

考虑存到hdfs吧,如果实在要用MySQL考虑下tokudb

小霸王臭丫头 2022-09-01 00:31:31

楼主解决了吗

洋洋洒洒 2022-09-01 00:31:31

楼主我也碰到同样的问题,想用flume往mysql入数据,只能自己写sink吗

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文