一年数据接近1个亿非结构化数据的场景,用的什么数据库合适?

发布于 2022-09-12 13:04:16 字数 313 浏览 17 评论 0

我们想要全面的记录用户行为,之前买过成熟的统计分析工具(类似百度站长),但想要的很多功能没有,很多不需要的功能倒是挺多的,结果就是成本不低但达不到我们的预期。所以考虑自己做套简易的收集系统,搭配本身系统自身能够把数据维度做多一些。
近半年做了些基础测试工作,用的mongodb收集数据,把用户在页面上的操作、浏览记录都记下来,半年已经4千多万数据了(10多GB),但感觉现在查询效率不高,关键字段已经做了索引之类了。
场景无需对事务支持、数据丢失点都没关系、数据一次写入就不会再更改了、非结构化、数据量大这些特性出发有没有更合适的简单点的数据库呢。

莫非必须得走Hbase这些大件才行么?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

白云不回头 2022-09-19 13:04:16

dgraph 也不错, 1亿数据量单机就够了

旧情勿念 2022-09-19 13:04:16

ELK套件,或者直接用其中的ElasticSearch。
如果你用云服务,各大云厂商都有日志服务的,性能比ElasticSearch高,量级也大。就是比较费钱。

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文