文章来源于网络收集而来,版权归原创者所有,如有侵权请及时联系!
2.3 数据采集
表格 10 数据采集工具简介
产品 | 简介 | 特点 |
---|---|---|
Flume | Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。 | 可以将应用产生的数据存储到任何集中存储器中,比如 HDFS,HBase。 提供上下文路由特征。 管理是基于事务。 可靠的,容错性高的,可升级的,易管理的,并且可定制的。 |
Filebeat | Elastic 开源的轻量级日志采集器。 | |
Logstash | Elastic 开源的重量级日志采集器。 | 功能强大,但占用资源较多。 |
Scribe | Facebook 开源的日志收集系统。 | |
Fiddler | 手机端的数据采集工具。 |
表格 11 数据采集工具比较列表
Flume | Filebeat | Logstash | Scribe | |
---|---|---|---|---|
语言 | Java | Go | Ruby | C++ |
占用系统资源 | 一般 | 少 | 多 | 一般 |
扩展性 | √ | √ | √ | 差 |
日志过滤 | √ | √ | √ | x |
日志解析 | x | x | √ | x |
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论