请对logstash与flume做比较

Question

看了一些文章，发现并没有直接拿logstash和flume来做全面比较的观点，相反，反而有拿flume和kafka做比较的，不知是否是我理解有误，我觉得flume在功能上应该与logstash相同，而kafka在整个架构中负责的仅仅是消息队列的角色。

那么不管怎么说，我想知道，logstash和flume之间的优劣，和各自所适合的场景，希望有这方面的高手给予指教，谢谢大家~

Answer 1

这有篇文章 https://everystack.io/#!/compare/components/logstash_vs_fluentd_vs_flu...

我自己的理解，flume在高可用（可靠性）方面做得比较好，据我所知美团在用。也没说拿flume与kafka对比，他们是结合使用的。
logstash应该是用的最多的，github上有4000+ stars，它好在有一套完整的日志收集（logstash）、日志存储（elasticsearch）、日志展示分析（kibana），搭建起来非常方便
刚好最近用到logstash也就初步了解了下，至于你说的优缺点，很难讲，应该还是看公司的倾向吧，flume是apache的，可以使用hadoop的hdfs，后端分析用MapReduce；logstash一切都变的简单，而且功能也非常强大。没有一定的技术运维实力还是建议logstash

Answer 2

网上确实也很少有logstash vs flume的文章 比对，更多的是flume vs kafka的比较。

个人认为Logstash收集日志的能力很强轻，不限日志来源，不限日志形式，对系统监控，问题分析应该很好，而且对技术要求也不高，相比hdfs,storm什么的而言。

Answer 3

可以试试阿里云的日志服务，即开即用，无需运维。
1）提供客户端快速采集日志（https://yq.aliyun.com/articles/3228?spm=5176.team4.teamshow1.37.faH93Z），性能比较logstash好很多
2）日志收集到服务端后提供多种消费方式：数据通道（类Kafka）/数据投递（ODPS/OSS）/实时搜索
具体可以参考：https://help.aliyun.com/document_detail/sls/user-guide/overview.html