kafka无法消费消息的问题
如题,kafka出现严重的消息堆积,求大伙帮忙分析一下原因,下面对问题做一些描述:
1. 我是用java写的代码,部署在tomcat
2. 另一个应用也是用同样的代码,没有出现消息堆积
3. 消息量不大,一分钟不到10条
4. 在这台服务器上基本无法消费,看日志昨晚12点多的时候消费了几条又停了
5. kafka没有出现宕机的情况
6. 本地用同样的consumer组、同样的代码、连接同样的zookeeper,是可以正常消费的,部署到生产环境就不行
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(6)
partion是两个
是不是那个topic只有一个partion,有两个消费者,所以其中一个消费不到?
你的不同应用是不是同一个group,单独group下有几个consumer,单独consumer查看下log,是不是网络问题
producer数据写的不均衡。
建议查看kafka的日志并查看zookeeper node数据
在部署环境上面安装kafka,加入到集群。然后跑消费者测试 ,(bin/kafka-consumer-perf-test.sh --zookeeper esv4-hcl197.grid.linkedin.com:2181 --messages 50000000 --topic test --threads 1)。跑通的话,说明通道OK的。
如果通道是OK的,推断是代码问题。远程调试代码,https://www.ibm.com/developerworks/cn/opensource/os-eclipse-javadebug/。