每年递增10亿数据量的elasticsearch节点部署设计

发布于 2022-09-11 23:03:49 字数 254 浏览 14 评论 0

使用ES存储即时通讯应用的聊天消息,用于消息搜索。每年新增消息量在10亿条左右,目前已有30亿左右数据存在mysql,将由mysql导入,后续新增的将直接写入ES。
请问基于设计原则,es每个分片存储在20~40gb比较好。这样是否适合尽量多部署节点,每个借点存储量可以少些,目前我们计划部署100个节点,每个节点使用4核8线,8gb内存的机器。
另外消息用于搜索,需搜索算量数据,(1)存在一个索引,(2)按日期存多个索引,使用同一个别名指向这些索引查询。2相对于1性能会好些吗?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文