kafka无法消费消息的问题

发布于 2021-11-29 14:47:32 字数 309 浏览 719 评论 6

如题,kafka出现严重的消息堆积,求大伙帮忙分析一下原因,下面对问题做一些描述:

1. 我是用java写的代码,部署在tomcat

2. 另一个应用也是用同样的代码,没有出现消息堆积

3. 消息量不大,一分钟不到10条

4. 在这台服务器上基本无法消费,看日志昨晚12点多的时候消费了几条又停了  

5. kafka没有出现宕机的情况

6. 本地用同样的consumer组、同样的代码、连接同样的zookeeper,是可以正常消费的,部署到生产环境就不行

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(6

滥情空心 2021-11-30 14:17:21

partion是两个

奢望 2021-11-30 12:42:09

是不是那个topic只有一个partion,有两个消费者,所以其中一个消费不到?

吃颗糖壮壮胆 2021-11-30 12:31:01

你的不同应用是不是同一个group,单独group下有几个consumer,单独consumer查看下log,是不是网络问题

奢华的一滴泪 2021-11-30 09:19:10

producer数据写的不均衡。

猫九 2021-11-30 05:48:24

建议查看kafka的日志并查看zookeeper node数据

多情癖 2021-11-29 19:45:18

在部署环境上面安装kafka,加入到集群。然后跑消费者测试 ,(bin/kafka-consumer-perf-test.sh --zookeeper esv4-hcl197.grid.linkedin.com:2181 --messages 50000000 --topic test --threads 1)。跑通的话,说明通道OK的。

如果通道是OK的,推断是代码问题。远程调试代码,https://www.ibm.com/developerworks/cn/opensource/os-eclipse-javadebug/。

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文