文章来源于网络收集而来,版权归原创者所有,如有侵权请及时联系!
1.1 简介
表格 1 OLAP 系统的分类
原理 | 工具 | 应用场景 | |
---|---|---|---|
MPP | 有很好的数据量和灵活性支持,但是对响应时间是没有保证的。 | Presto/Impala/SparkSQL/Drill 等 | 分布式查询 |
搜索引擎 | 入库时将数据转换为倒排索引,采用 Scatter-Gather 计算模型,牺牲了灵活性换取很好的性能,在搜索类查询上能做到亚秒级响应。 但是对于扫描聚合为主的查询,随着处理数据量的增加,响应时间也会退化到分钟级。 | Elasticsearch、 Solr | 搜索 |
预计算 | 入库时对数据进行预聚合,进一步牺牲灵活性换取性能(一般是用空间换时间),以实现对超大数据集的秒级响应。 | Druid/Kylin/ClickHouse 等 | 聚合查询 |
备注:
- 以上 OLAP 针对的是亿级以上的海量数据。没有一个引擎能同时在数据量,灵活性和性能这三个方面做到完美,用户需要基于自己的需求进行取舍和选型。
- 搜索引擎和预计算都是以空间换时间。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论