Flume 代理 - 我可以指定 gzip 或 bz2 等压缩吗?
是否可以在 Flume 代理上指定压缩选项,以便数据以压缩格式传输到收集器?我知道收集器级别有压缩选项,但是能够从代理传输压缩数据也非常有用。 谢谢…
编写自定义 Flume 装饰器,但出现错误。我缺少什么?
我正在为 Cloudera 的分布式日志聚合系统 Flume 编写一个自定义装饰器插件。我的 Java 代码如下: package multiplex import java.io.IOException imp…
命令行 Flume 抛出错误
我想用flume从控制台收集日志,我用以下命令启动flume: process_which_generates_the_log | flume node_nowatch -1 -n node -c 'node : console | ag…
Scribe、Flume 和 Chukwa - 有哪些替代方案?
我想了解这些项目的替代方案,特别是设计用于聚合来自多个节点(> 500)的日志中的数据,并设计用于低内存/CPU 使用率。 我熟悉 scribe、flume …
flume sink是logger的时候输出到哪儿去了?
sink是这样的a1.sinks.s1.type=logger终端没有输出,/usr/local/Cellar/flume/1.9.0_1/libexec/bin/logs目录下也没有输出结果输出到哪儿了?…
如何动态扩展flume的avro sink?
我有几个服务实例,部署了flume进行日志采集,这些flume将会通过avro sink,将日志传输到flume-master节点进行分发,目前flume-master有两个实例。我…
flume+kafka+spark Streaming监听处理文件,但需要streaming能对完整的单个文件进行处理。
用flume+kafka+spark streaming框架分析数据,数据文件是导入的一个一个的,也就是完整的导入的,因为这些文件中每个文件的数据都是应用场景中一次事…
flume监听网络端口,使用telnet传入数据测试时发现特定汉字传入会被强制关闭连接
环境:hadoop2.8.5、flume1.9、Ubuntu18.04 问题:使用flume监听网络端口,传入数据测试时发现特定汉字传入会被强制关闭连接,如图 更换过flume1.6发…
Flume 如何将日志通过某种映射转换为json?
可以直接通过配置文件,使用正则将日志转化为json吗? 如果不行的话,可以通过自定义脚本,输入为日志,输出为json转换吗? 没有找到这方面的资料,…
flume启动Failed to commit transaction.Transaction rolled back.
执行 bin/flume-ng agent -c conf/ -f conf/flume.conf -n ecoll -Dflume.root.logger=info,console报错 org.apache.flume.sink.hbase.HBaseSink [Si…
log4j2按大小分割日志供flume读取,文件大小该如何配置?
用flume收集web服务器的信息,web服务器使用log4j2日志框架1.使用<Flume>appender,发现需要很多引入jar包,版本对应很乱,放弃了。2.appender使…