kafka重复消费的问题
关于kafka重复消费的问题你们是怎么解决的？我看网上说引入第三方中间键redis, 每次消费前先判断该消息是否存在Redis, 没有则进行消费， 消费完再将该条记录的唯一标识存入Redis中。
重复消费是因为业务处理完后偏移量修改失败的导致的， 但是引入Redis的也话会出现Redis写失败啊， 问题就没解决啊
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（6）
redis写入失败？网络io问题吗？一般来说是不会失败的，redis一般都是集群，主从结构，支持高可用，不会轻易挂掉，要是真的出现了这种情况，重复消费也好过数据丢失
那问题就转变到了offset什么原因导致提交失败的。你自己完全可以写个重试次数，用消费后的offset和你消费前的offset做比较，不同就修改。相同就不重试，不修改。这只是个思路。欢迎交流。
把业务和提交offset当成一个事务，提交失败则回滚是否可行
保证业务操作的幂等性,偶尔有重复消费也没关系
引用来自“往后余生_”的评论
是否可以考虑手动提交offset方式？
是否可以考虑手动提交offset方式？