使用flume ng写数据到hbase 失败
使用flume ng 写数据到hbase,使用org.apache.flume.sink.hbase.SimpleHbaseEventSerializer可以写成功，只是写到一个列里面，这不是我想要的。所以使…
通过 flume 输入 kafka 和直接用 kafka API 有什么优劣呢？
向 kafka 写入数据，可以有以下两种方式： 不断写入文件，通过 flume 配置，用 flume 写入 kafka； 使用 kafka api 写入； 请问这两者各有什么优劣呢…
flume如何收集Log4j的滚动日志
现在项目中使用的log4j的滚动日志功能，比如今天是8月25日，当前的日志文件都写在common-default.log中，到8月26日时，log4j会把common-default.log…
Hdfs 多线程和多进程写的问题
hdfs 原本就不支持多线程或多进程同时对一个文件写。想知道flume hdfs sink或者kafka connecter 是如何做到分布式写入同一个hdfs 文件的？…
flume elasticsearch sink 启动失败
flume 版本1.7, elasticsearch 版本5.2, 启动失败 配置: aent.sources = s1 agent.channels = c1 agent.sinks = k1 agent.sources.s1.type = org.apa…
flume 监听nginx日志丢失问题
flume监听nginx日志是否是增量监听？ 场景： nginx日志不断产生，flume agent一直监听，但由于网络原因，网断了。channel为memary类型此时nginx日志…
Flume NG写入数据到Hbase中的问题
安装的软件版本 hadoop-2.6.4 flume-1.6.0 hbase-1.2.3 hbase-site.xml配置 <configuration> <property> <name>hbase.rootdir</name&g…
flume interceptor 设置host不生效
使用flume-ng传输日志信息，用均衡负载的方式将agent数据推送到collector，数据流向如图： 未了区分不同的agent发送的数据，我在collector的config文…
flume avro 程序报错
如题：flume 启动程序的conf文件为 agent1.sources=source1 agent1.sinks=sink1 agent1.channels=channel1 agent1.sources.source1.type=spooldir ag…
flume 往hdfs 里写失败
2016-04-03 14:50:21,897 (hdfs-k1-call-runner-17) [ERROR - org.apache.flume.sink.hdfs.AbstractHDFSWriter.hflushOrSync(AbstractHDFSWriter.java…
怎样解析通过Flume写入HDFS中的sequence file
log4j的日志通过flume收集到hdfs中，并在flume里配置了hdfs的sink, 其中fileType为SequenceFile。但不知道hdfs里sequencefile的record, key和value类…
请对logstash与flume做比较
看了一些文章，发现并没有直接拿logstash和flume来做全面比较的观点，相反，反而有拿flume和kafka做比较的，不知是否是我理解有误，我觉得flume在功…
flume-ng 使用 MySQL Sink
我准备使用apache flume 1.3 来处理日志的收集工作，日志的量不是很大，每天10个G左右， 我准备仅把WARN和ERROR级别的日志抽取出来保存，供后续分析使…
