一年数据接近1个亿非结构化数据的场景,用的什么数据库合适?
我们想要全面的记录用户行为,之前买过成熟的统计分析工具(类似百度站长),但想要的很多功能没有,很多不需要的功能倒是挺多的,结果就是成本不低但达不到我们的预期。所以考虑自己做套简易的收集系统,搭配本身系统自身能够把数据维度做多一些。
近半年做了些基础测试工作,用的mongodb收集数据,把用户在页面上的操作、浏览记录都记下来,半年已经4千多万数据了(10多GB),但感觉现在查询效率不高,关键字段已经做了索引之类了。
场景无需对事务支持、数据丢失点都没关系、数据一次写入就不会再更改了、非结构化、数据量大这些特性出发有没有更合适的简单点的数据库呢。
莫非必须得走Hbase这些大件才行么?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(2)
dgraph 也不错, 1亿数据量单机就够了
ELK套件,或者直接用其中的ElasticSearch。
如果你用云服务,各大云厂商都有日志服务的,性能比ElasticSearch高,量级也大。就是比较费钱。