一个大数据业务场景问题
mysql某张日志表有一亿多条数据，每天大概三四百万的数据增量，现在要对这张表进行数据统计。在不受限于任何方向的技术方案的情况下进行技术改造，用啥技术能最大提高分析的性能，实时性差异不能超过10分钟
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
mysql某张日志表有一亿多条数据，每天大概三四百万的数据增量，现在要对这张表进行数据统计。在不受限于任何方向的技术方案的情况下进行技术改造，用啥技术能最大提高分析的性能，实时性差异不能超过10分钟
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
接受 或继续使用网站，即表示您同意使用 Cookies 和您的相关数据。
发布评论
评论（2）
什么样的数据统计？这样的数据统计是可以“积累”的吗？
可以考虑使用“Lambda架构”架构，使用批处理处理历史数据的基础上使用流处理对实时数据进行统计。
对于现有日志数据，建议将据从mysql同步到Elasticsearch，通过Elasticsearch查询聚合等操作来进行分析，也可以通过kibana来操作Elasticsearch。
对于以后新产生的日志数据，建议通过 Filebeat + Logstash + Elasticsearch，直接同步到Elasticsearch，然后进行分析。
推荐文章： https://www.ibm.com/developer...