kafka pattion数据堆积,然后自动丢失

发布于 2022-01-03 07:08:59 字数 394 浏览 897 评论 2

入上图所示,我开了两个消费者,三个pattion,刚开始是正常的,但是每次大概在跑了一天左右以后,pattion1 中的数据,开始不被消费,出现堆积,通过日志也发现,1的数据没有被消费,并且没有出现报错,并且奇怪的是,过一段时间以后,pattion1 中lag数据开始500多条500多条的直接减少,也就是说,数据开始丢失,但是并不是被消费了,是直接开始丢失掉,后来我开了三个消费者,发现情况完全一样,跑了一天左右以后,其中一个pattion开始堆积,然后堆积以后开始大面积丢失,实际上我们的数据量并不大

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

静谧 2022-01-07 16:08:48

有的监控软件是有bug的,还有就是看下 kafka的配置 设置的消息过期时间

无声静候 2022-01-07 07:56:29

什么监控软件

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文