elasticsearch写入去重的问题
我有一些数据，可能有很多重复的，比如username,ip,UA等等，这些数据是实时产生的，也就是说可能是产生的时间是不一样的。
目前是用logstash来实时写数据进elasticsearch的，我想问的是
如何确保写入elasticsearch的数据是不重复的。
logstash在写数据之前，是否可以先到elasticsearch查询一下然后在决定写入不写入呢？
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（2）
Hi，你的问题解决了吗，我现在也有同样的问题。
应该根据某个字段值进行加密算法，生成唯一的id,通过id反查，可去重