kafka消费数据,一段时间后无法消费,需要重换groupId
将图片数据base64以后,写入kafka,然后用java 写了一个消费代码,开始跑,没有问题,可以消费到数据,并处理,但是最近发现,跑一段时间无法消费到数据了,也有任何报错信息,给我的感觉有点像堵塞了,但是看kafka后台,一直有数据写入,我将groupId换一个新的,就又可以获取数据,但是用老的groupid就不可以,各位大神,有遇到过这种情况么?感觉这个bug无从下手?求指教
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(5)
如果一个group下有多台机器的话,只有一台机器能正常消费.
感觉你应该是使用Kafka的订阅推送模式。
你可以通过kafka的命令行工具 查看一下你 GroupId消费的游标到哪儿了,有多少lag的消息 。确认好了知道。就知道 是你写入的时候 就出了问题了,还是你在获取订阅消费的时候出问题了。
另外kafka本身是有侦听事件的。打个断点在侦听上啊。消费失败没关系,但侦听基本是不会出问题的。
最后描述问题请把kafka的版本号及Scala的版本号确认好
这个我也遇到过,你可以试试spring-kafka
如果是消费端线程阻塞,应用重启后应该可以消费消息,但重启后,仍然不能消费消息。。。
这种我遇到过,消费端是单线程消费,一旦有阻塞,就会导致无法消费新的数据。久而久之,你的消息通道就挂掉了。。