返回介绍

1.1 简介

发布于 2024-10-03 00:48:43 字数 713 浏览 0 评论 0 收藏 0

表格 1 OLAP 系统的分类

 原理工具应用场景
MPP有很好的数据量和灵活性支持,但是对响应时间是没有保证的。Presto/Impala/SparkSQL/Drill 等分布式查询
搜索引擎入库时将数据转换为倒排索引,采用 Scatter-Gather 计算模型,牺牲了灵活性换取很好的性能,在搜索类查询上能做到亚秒级响应。
但是对于扫描聚合为主的查询,随着处理数据量的增加,响应时间也会退化到分钟级。
Elasticsearch、 Solr
搜索
预计算入库时对数据进行预聚合,进一步牺牲灵活性换取性能(一般是用空间换时间),以实现对超大数据集的秒级响应。Druid/Kylin/ClickHouse 等聚合查询

备注:

  1. 以上 OLAP 针对的是亿级以上的海量数据。没有一个引擎能同时在数据量,灵活性和性能这三个方面做到完美,用户需要基于自己的需求进行取舍和选型。
  2. 搜索引擎和预计算都是以空间换时间。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文