kafka消费者消费速度慢
kafka1.1.0,用spring-kafka进行消费时出现消费者速度跟不上生产者,导致消息大量积压的问题
使用spring kafka进行消息的生产与消费,消息发送时未指定key(key为null)
消费时即使设置了最大拉取字节,也没有显著的性能提升
一条消息的大小大约为300个字节,就是很普通的一个java bean的json格式
请各位大佬帮忙分析一下问题的原因
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（3）
打印代码耗时，排除业务中存在耗时操作，导致消息消费速度慢。
1、批量发送消息的大小是否过大，发送的间隙是否过小。如果设置手动提交的话，会不会是接收消费反馈状态代码的问题
2、可以配置多个线程消费，spring可以设置。
3、当延迟较大时，可以观察一下服务器的硬件使用参数，如果没有没有到达瓶颈，应该还是kafka参数设置的问题。
kafka本来就是临时存储消息的，消费者速度跟不上生产者，集群模式下可以添加多个消费者，不知道你的消费者是什么如果是storm的话 可以设置nimbus 的并发度 （默认等于 主题 的个数 ）