presto连接mongodb做即席查询效率

发布于 2022-01-03 11:09:22 字数 139 浏览 914 评论 4

目前mongodb一个表有几个T的数据,测试结果是对这个表大概1千万的数据做分组汇总查询,性能不理想,查看presto监控运行只有 30k rows/s的速度,计算完需要3-5分钟,目前机器presto集群一共是48G的内存,不知大佬们有优化方案告知下么,谢谢了!

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(4

小瓶盖 2022-01-08 01:03:25

调了很久的内存了,最后也不咋滴,最后发现是因为并发度不够引起的时间耗时较长,但是目前presto对mongodb好像都只有一个单线程处理的,所以感觉很难解决

谁的新欢旧爱 2022-01-07 19:57:50

对了兄弟有处理过,通过presto引擎处理sql脚本吗

秉烛思 2022-01-07 12:09:23

内存优化试过了没

英雄似剑 2022-01-06 13:09:11

1111

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文