Python 处理亿级数据量有什么方案？
最近遇到一个问题，要把2亿多的数据插入到 ES 中。
现在的方案是：生成器分段读取文本内容，再对每行内容进行处理，放入到一个列表
ES 方面是循环这个列表，每次取 500 条批量插入到 ES 中
以上方案速度巨慢，跑了一两个小时才1900万，不到2000万，请问这种情况有什么好的方案？
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
没太听懂，“ES 方面是循环这个列表，每次取 500 条批量插入到 ES 中” es自己导入新库？
处理慢就多开进程，问题应该是 es如何高效写入 吧 我也不会 百度吧