presto连接mongodb做即席查询效率
目前mongodb一个表有几个T的数据,测试结果是对这个表大概1千万的数据做分组汇总查询,性能不理想,查看presto监控运行只有 30k rows/s的速度,计算完需要3-5分钟,目前机器presto集群一共是48G的内存,不知大佬们有优化方案告知下么,谢谢了!
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(4)
调了很久的内存了,最后也不咋滴,最后发现是因为并发度不够引起的时间耗时较长,但是目前presto对mongodb好像都只有一个单线程处理的,所以感觉很难解决
对了兄弟有处理过,通过presto引擎处理sql脚本吗
内存优化试过了没
1111