阿里云那种数据库适合一定容量时序数据存储?

发布于 2022-09-04 04:13:06 字数 624 浏览 30 评论 0

我使用阿里云做物联网设计,现在采用三级分段存储:

  1. Redis/KV-store存储热点数据;

  2. MySQL存储一定时间内的数据;

  3. 文件系统压缩归档存储超出时限外的数据;

现在发现MySQL一直是整个系统的瓶颈。单台设备数据采集是sample/50ms,即20sps。所以24小时的数据量为1728000点(1.728M),1K台设备每天数据量为(1.728B)。

另外一类数据采样率是0.5sps,每天数据量为43200(43K),1K台设备每天数据量为43M。100天数据量为4.3B。

一般来说,我的MySQL数据库需要保存1~2个月。所以单表中保存亿级别的条目很正常。由于数据集较大,所以数据检索花的时间较长。所以必须每天归档,优化数据库表。

阿里云的RDS我使用了配置较低的MySQL,现在每天下午归档时就会出现IOPS占80%的警告。

由于数据库是整个系统的瓶颈。所以,数据库必须得到改良,目前不太清楚应该如何选择,是选择分布式数据库RDBS,还是购买ECS自建TSDB(我中意InfluxDB)?

应该说TSDB虽然简单,但是IOPS要求很高,既要求实时写入,又要求实时检索。

希望有经验的朋友指导一下。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

女尤 2022-09-11 04:13:06

百度云已经推出分布式多租户时序数据库,按需收费,专门为物联网定制,可以解决你的问题。https://cloud.baidu.com/doc/T...

蒗幽 2022-09-11 04:13:06

阿里云的问题不是采用哪种数据库系统的问题,是他的磁盘性能太渣,怎么优化都没用。要么花钱买性能优化的数据库示例要么迁移到别的平台上。

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文