怎么快速批量将 2 亿多数据插入到 ES 集群中?
目前已采用过Python 相应模块 bulk 方法,但是速度很慢。网上说可以使用 curl bulk ,将大文件拆分为多个小的 json文件去批量插入,但是发现有丢数据的情况~
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
目前已采用过Python 相应模块 bulk 方法,但是速度很慢。网上说可以使用 curl bulk ,将大文件拆分为多个小的 json文件去批量插入,但是发现有丢数据的情况~
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
接受
或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
发布评论
评论(1)
https://www.elastic.co/guide/...
官方文档有调优的具体步骤,具体写入速度跟当前ES集群的软硬件配置都有关系