海量数据如何进行批量查询

发布于 2022-09-01 15:41:21 字数 293 浏览 16 评论 0

问题描述:
100亿数据,数据类型:k-v,批量查询key1/key2/.../keyN,返回结果value1/value2/.../valueN。
日pv: 千万量级, 读多写少。
如何选择存储和程序实现?

类似场景: ip地址批量查询

简单分析:
db选择mysql,百亿数据,需要分库分表,存储引擎选择innodb的话,无法实现批量查询;存储引擎选择myisam,可以利用merge引擎来实现批量查询,但是大量的访问在myisam引擎下会导致数据库同步的延迟

请教选用什么db存储?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(3

GRAY°灰色天空 2022-09-08 15:41:21

redis似乎很合适,可以考虑一下

著墨染雨君画夕 2022-09-08 15:41:21

mongodb也不错,伸缩很好,读多写少.分片,同步都自带机制。很方便

一笔一画续写前缘 2022-09-08 15:41:21

key-value类型的数据库推荐使用redis,可以做集群,设置主从,同时要实现数据缓存。。

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文