kafka(版本 0.10)已消费过的数据重复消费,而且是3天前的,zk的log未发现异常
kafka(版本 0.10)已消费过的数据重复消费,而且是3天前的,zk的log未发现异常
三台机器分布式消费,下面是消费端配置
props.put("auto.commit.enable", "true");
props.put("auto.commit.interval.ms", "1000");
props.put("max.poll.records", "1");
props.put("auto.offset.reset", "earliest");
急,请教!!!
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(6)
用KAFKA低级API可以解决
这个问题是如何解决呢
请问后续是如何解决此类问题?
1.消费组肯定设置了的
2、这个已经不是允许重复问题了,是大范围所以parttion的offset重置到第一条
而且kafka是允许重复的,你的消费者需要去重!!!
没有设置消费者组id