kafka消费数据,一段时间后无法消费,需要重换groupId

发布于 2021-11-30 10:29:56 字数 199 浏览 905 评论 5

将图片数据base64以后,写入kafka,然后用java 写了一个消费代码,开始跑,没有问题,可以消费到数据,并处理,但是最近发现,跑一段时间无法消费到数据了,也有任何报错信息,给我的感觉有点像堵塞了,但是看kafka后台,一直有数据写入,我将groupId换一个新的,就又可以获取数据,但是用老的groupid就不可以,各位大神,有遇到过这种情况么?感觉这个bug无从下手?求指教

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(5

初见你 2021-12-05 04:44:15

如果一个group下有多台机器的话,只有一台机器能正常消费.

囚你心 2021-12-05 04:40:30

感觉你应该是使用Kafka的订阅推送模式。

你可以通过kafka的命令行工具 查看一下你 GroupId消费的游标到哪儿了,有多少lag的消息 。确认好了知道。就知道 是你写入的时候 就出了问题了,还是你在获取订阅消费的时候出问题了。

另外kafka本身是有侦听事件的。打个断点在侦听上啊。消费失败没关系,但侦听基本是不会出问题的。

最后描述问题请把kafka的版本号及Scala的版本号确认好

疾风者 2021-12-05 03:24:19

这个我也遇到过,你可以试试spring-kafka

月牙弯弯 2021-12-04 14:08:54

如果是消费端线程阻塞,应用重启后应该可以消费消息,但重启后,仍然不能消费消息。。。

回眸一笑 2021-12-04 07:19:44

这种我遇到过,消费端是单线程消费,一旦有阻塞,就会导致无法消费新的数据。久而久之,你的消息通道就挂掉了。。

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文