数据库定时查询大量数据
问题描述
有一个场景，需要定时查询数据库库中所有会员的订单信息，假设量很大，每半个小时查询一次，此时单节点直接查询肯定搞不懂，如何在多节点的情况下实现。
暂时不考虑数据库设计，重点在于多节点之间的负载平衡以及单个节点内，半个小时内的负载也是平稳的，不会前15分钟压力过大，后面15分钟没有压力。
思路
目前有两种思路
1.多节点分批查询数据，比如10个节点查询500万数据，平均每个查询50万数据，这样可以达到每个节点的负载平衡，此外在每个节点查询时也是分批拉取，尽量在30分钟查询的数量比较平均，单个节点的负载比较平稳。
2.直接把订单数据都存在EL里，减少对数据库的压力。
疑问
一般像量比较大的电商项目都采取哪种方式来实现？比较稳固可靠？
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
这种一般来说数据都放入到es中，然后有后台离线计算项目处理