Flume 如何将日志通过某种映射转换为json?
可以直接通过配置文件，使用正则将日志转化为json吗？ 如果不行的话，可以通过自定义脚本，输入为日志，输出为json转换吗？ 没有找到这方面的资料，…
flume启动Failed to commit transaction.Transaction rolled back.
执行 bin/flume-ng agent -c conf/ -f conf/flume.conf -n ecoll -Dflume.root.logger=info,console报错 org.apache.flume.sink.hbase.HBaseSink [Si…
log4j2按大小分割日志供flume读取，文件大小该如何配置？
用flume收集web服务器的信息，web服务器使用log4j2日志框架1.使用appender,发现需要很多引入jar包，版本对应很乱，放弃了。2.appender使用RollingRan…
使用flume向elasticsearch写日志，下载了jar包后仍然提示有问题?
我用1.8版本的flume 在java 1.8.0_101 的主机上向elasticsearch 5.0.0传日志，我下载了 elasticsearch-5.0.0.jar 与 lucene-core-5.0.0.jar 放在flum…
HBase 批量写关闭WAL
在HBase异步mutator.mutate(rows) 批量写的时候，如果关闭WAL会使得性能提升明显 但是当Region 挂的时候可能丢数据，这个Region 挂是指其中某一台挂…
使用flume ng写数据到hbase 失败
使用flume ng 写数据到hbase,使用org.apache.flume.sink.hbase.SimpleHbaseEventSerializer可以写成功，只是写到一个列里面，这不是我想要的。所以使…
通过 flume 输入 kafka 和直接用 kafka API 有什么优劣呢？
向 kafka 写入数据，可以有以下两种方式： 不断写入文件，通过 flume 配置，用 flume 写入 kafka； 使用 kafka api 写入； 请问这两者各有什么优劣呢…
flume如何收集Log4j的滚动日志
现在项目中使用的log4j的滚动日志功能，比如今天是8月25日，当前的日志文件都写在common-default.log中，到8月26日时，log4j会把common-default.log…
Hdfs 多线程和多进程写的问题
hdfs 原本就不支持多线程或多进程同时对一个文件写。想知道flume hdfs sink或者kafka connecter 是如何做到分布式写入同一个hdfs 文件的？…
flume elasticsearch sink 启动失败
flume 版本1.7, elasticsearch 版本5.2, 启动失败 配置: aent.sources = s1 agent.channels = c1 agent.sinks = k1 agent.sources.s1.type = org.apa…
flume 监听nginx日志丢失问题
flume监听nginx日志是否是增量监听？ 场景： nginx日志不断产生，flume agent一直监听，但由于网络原因，网断了。channel为memary类型此时nginx日志…
Flume NG写入数据到Hbase中的问题
安装的软件版本 hadoop-2.6.4 flume-1.6.0 hbase-1.2.3 hbase-site.xml配置 hbase.rootdir hdfs://master2:9000/hbase hbase.cluster.distributed tr…
