如何配置 log4j 进行包级别日志记录?
我想登录多个日志文件(flume 和 console)。如何将log4j设置为包级别?即将com.mypackage.myclass设置为flume并将其他包设置为控制台..…
Cloudera 的 Flume 与 Facebook 的 Scribe
有没有人有机会同时从事这两项工作?我需要建立一个框架来移动数据。基本上,我们有以文本文件形式输入的点击流数据。这些数据需要从应用程序服务器移…
如何将命名管道尾接到 Flume Windows 节点(Flume 节点服务)
不确定这是一个 SO、SuperUser 还是 ServerFault 问题,但我刚刚在 Windows 计算机上安装了 FlumeNode 服务,并且我想通过命名管道将日志信息发送到 F…
Flume 代理 - 我可以指定 gzip 或 bz2 等压缩吗?
是否可以在 Flume 代理上指定压缩选项,以便数据以压缩格式传输到收集器?我知道收集器级别有压缩选项,但是能够从代理传输压缩数据也非常有用。 谢谢…
编写自定义 Flume 装饰器,但出现错误。我缺少什么?
我正在为 Cloudera 的分布式日志聚合系统 Flume 编写一个自定义装饰器插件。我的 Java 代码如下: package multiplex; import java.io.IOException; i…
命令行 Flume 抛出错误
我想用flume从控制台收集日志,我用以下命令启动flume: process_which_generates_the_log | flume node_nowatch -1 -n node -c 'node : console | ag…
Scribe、Flume 和 Chukwa - 有哪些替代方案?
我想了解这些项目的替代方案,特别是设计用于聚合来自多个节点(> 500)的日志中的数据,并设计用于低内存/CPU 使用率。 我熟悉 scribe、flume 和…
flume sink是logger的时候输出到哪儿去了?
sink是这样的a1.sinks.s1.type=logger终端没有输出,/usr/local/Cellar/flume/1.9.0_1/libexec/bin/logs目录下也没有输出结果输出到哪儿了?…
如何动态扩展flume的avro sink?
我有几个服务实例,部署了flume进行日志采集,这些flume将会通过avro sink,将日志传输到flume-master节点进行分发,目前flume-master有两个实例。我…
flume+kafka+spark Streaming监听处理文件,但需要streaming能对完整的单个文件进行处理。
用flume+kafka+spark streaming框架分析数据,数据文件是导入的一个一个的,也就是完整的导入的,因为这些文件中每个文件的数据都是应用场景中一次事…
flume监听网络端口,使用telnet传入数据测试时发现特定汉字传入会被强制关闭连接
环境:hadoop2.8.5、flume1.9、Ubuntu18.04 问题:使用flume监听网络端口,传入数据测试时发现特定汉字传入会被强制关闭连接,如图 更换过flume1.6发…