返回介绍

5.2 时序数据库比较

发布于 2024-09-26 01:07:36 字数 4019 浏览 0 评论 0 收藏 0

image-20191201160524798

图 8 时序数据库发展简史

表格 30 时序数据发展史

 简介示例
第一代来源于监控领域,数据模型比较单一,单机容量受限,并且内嵌于监控告警方案。RRDTool,Wishper
基于通用存储继承通用存储优势的基础上,利用时序的特性规避部分通用存储的劣势,并且在数据模型,聚合分析方面做了贴合时序的大量创新。OpenTSDB,KairosDB
垂直型 TSDB具备更加高级的数据处理能力,高效的压缩算法和符合时序特征的存储引擎。InfluxDB、

表格 时序数据库简介

类别TSDB简介
公有云AWS Timestream2018.11 Amazon 在 AWS re Invent 大会发布 Timestream 预览版。适用于 IoT 和运营应用程序等场景。阿里云 TSDB。
公有云Azure Series Insights2017.4 Microsoft 发布时序见解预览版,提供的完全托管、端到端的存储和查询高度情景化 loT 时序数据解决方案。强大的可视化效果用于基于资产的数据见解 和丰富的交互式临时数据分析。 针对数据类型分为暖数据分析和原始数据分析,按照存储空间和查询量分别计费。

开源
OpenTSDB一个分布式的、可伸缩的时间序列数据库. 引入 metric,tags 等概念设计了一套针对时序场景的数据模型,底层采用 HBase 作为存储,利用时序场景的特性,采用特殊的 rowkey 方式,来提高时序的聚合和查询能力。
 PrometheusPrometheus 是一套开源的监控、报警和时间序列数据库的组合,成立于 2012 年,由 SoundCloud 公司开发,此后许多组织接受和采用了 Prometheus,遂将其独立为开源项目。该项目使用 Go 语言开发,社区氛围非常活跃。 会将所有采集到的样本数据以时间序列(time-series)的方式保存在内存数据库中,并且定时保存到硬盘上。需要远端存储来保证可靠和扩展性。
 InfluxDB单机开源的时序数据库,由 Go 语言编写,无需特殊的环境依赖,简单方便。采用独有的 TSMT 结构实现高性能的读写。分布式需要商业化支持。
 Timescale面向 SQL 生态的时序数据库,固定 Schema,底层基于 PG,按时间管理 chunk table。
 Graphite2006 年开源,python 实现。
学术BTrDB面向高精度时序数据的存储应用,设计并提出了 "time-partitioning version-annotated copy-on-write tree" 的数据结构,为每一条时间线构建了一棵树,并且引入版本的概念处理数据的乱序场景。
 Confluo设计了新型的数据结构”Atomic MultiLog“,采用现代 CPU 硬件支持的原子指令集,支持百万级数据点高并发写入,毫秒级在线查询,占用很少的的 CPU 资源实现即席查询。
 Chronixdb基于 Solr 提供了时序存储,并且实现了特有的无损压缩算法,可以与 Spark 集成,提供丰富的时序分析能力。
商业&工业PIOSI 软件公司开发的大型实时数据库,广泛应用于电力,化工等行业,采用了旋转门压缩专利技术和独到的二次过滤技术,使进入到 PI 数据库的数据经过了最有效的压缩,极大地节省了硬盘空间。
 KDBKx System 开发的时间序列数据库,通常用于处理交易行情相关数据。支持流、内存计算和实时分析 Billion 级别的记录以及快速访问 TB 级别的历史数据。
 GorillaFacebook 的一个基于内存的时序数据库,采用了一种新的时间序列压缩算法。可以将数据从 16 字节压缩到平均 1.37 字节,缩小 12 倍.并且 设计了针对压缩算法的内存数据结构.在保持对单个时间序列进行时间段查找的同时也能快速和高效的进行全数据扫描。 通过将时间序列数据写到不同地域的主机中,容忍单节点故障,网络切换,甚至是整个数据中心故障。

表格 31 主流时序数据库的功能比较

TSDB简介适用场景实时聚合分析类 SQL维护集群
Graphite提供丰富函数支持 支持自动 Downsample 对 Grafana 的支持最好。
性能较差:whisper 存储引擎 IOPS 高;carbon 组件 CPU 利用率高。
  简单 
InfluxDBmetric + Tags;实时数据 Downsample;高效存储。
缺点是存在前后版本兼容问题。
  简单开源版无
OpenTSDBmetric + Tags;集群方案成熟  复杂
Prometheusmetric + Tags;适用于容器监控; 丰富查询  简单
Druid嵌套列式存储;分布式容错架构 复杂 
ElasticSearch全文检索;支持查询原始数据; 灵活性高、社区活跃。
缺点是无列式;硬件资源要求高。
   复杂 
ClickHouse分布式容错; 缺点是较年轻,不支持数据更新和删除。  

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文