海量数据如何进行批量查询
问题描述:
100亿数据,数据类型:k-v,批量查询key1/key2/.../keyN,返回结果value1/value2/.../valueN。
日pv: 千万量级, 读多写少。
如何选择存储和程序实现?
类似场景: ip地址批量查询
简单分析:
db选择mysql,百亿数据,需要分库分表,存储引擎选择innodb的话,无法实现批量查询;存储引擎选择myisam,可以利用merge引擎来实现批量查询,但是大量的访问在myisam引擎下会导致数据库同步的延迟
请教选用什么db存储?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(3)
redis似乎很合适,可以考虑一下
mongodb也不错,伸缩很好,读多写少.分片,同步都自带机制。很方便
key-value类型的数据库推荐使用redis,可以做集群,设置主从,同时要实现数据缓存。。