kafka pattion数据堆积,然后自动丢失
入上图所示,我开了两个消费者,三个pattion,刚开始是正常的,但是每次大概在跑了一天左右以后,pattion1 中的数据,开始不被消费,出现堆积,通过日志也发现,1的数据没有被消费,并且没有出现报错,并且奇怪的是,过一段时间以后,pattion1 中lag数据开始500多条500多条的直接减少,也就是说,数据开始丢失,但是并不是被消费了,是直接开始丢失掉,后来我开了三个消费者,发现情况完全一样,跑了一天左右以后,其中一个pattion开始堆积,然后堆积以后开始大面积丢失,实际上我们的数据量并不大
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(2)
有的监控软件是有bug的,还有就是看下 kafka的配置 设置的消息过期时间
什么监控软件