openSOC环境具体如何搭建
@Booklearn 你好,想跟你请教个问题:     最近看了官方给的openSOC开源项目,但是看的云里雾里,不知道具体该如何搭建这样的一个环境,根据…
既有服务器上安装flume的JDK版本问题。
目前生产上跑着的应用使用的是JDK1.6(无法升级,各种原因)。现在想使用flume收集日志。 我看flume 要求jdk1.7以上,如果我再在服务器上安装一个jdk1…
Flume 实时收集nginx的日志放到hadoop去
agent1.sources=source1 agent1.sinks=sink1 agent1.channels=channel1 #配置source1 agent1.sources.source1.type=exec agent1.sources.source1.com…
关于flume向hdfs写入文件的问题
flume通过spooldir向hdfs写入文件时,为了避免频繁产生新文件,设置了每128M产生一个新文件。 spooldir是每分钟产生大量小文件 但是运行过程中发现一…
flume 往hdfs 里写失败不知为啥
2016-04-03 14:50:21,897 (hdfs-k1-call-runner-17) [ERROR - org.apache.flume.sink.hdfs.AbstractHDFSWriter.hflushOrSync(AbstractHDFSWriter.java…
Logstash中怎么根据数据内容做多个output
比方说,数据用#分割 abc#1#测试数据1 abc#2#测试数据2 我在output里需要完成一个事情,在输出的时候,数据的输出目录需要根据第二个字段来确定,数据…
请问flume如何监控tomcat日志
请问大大们, 如何使用flume监控tomcat日志? 我看了一篇教程<flume 示例一收集tomcat日志> http://my.oschina.net/88sys/blog/71529 结果运行flum…
flume 写入hadoop时报错。
2015-08-10 16:01:22,819 (SinkRunner-PollingRunner-DefaultSinkProcessor)  [ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSE…
使用Apache Flume监控Log4J产生的日志,但是如果日志文件因为容量的原因转储了会如何?
考虑使用Apache Flume监控Log4J产生的日志,也简单了解以一下Flume的原理,发现Flume Agent是利用Tail命令实时收集某一文件上追加的内容来实现的。那…
flume 在配置source 访问avro 的时候,能使用socket 发送数据给avro,可以接受吗
在本地使用socket 编程 去调用远程的flume机器,发现有个 org.apache.avro.AvroRuntimeException: Excessively large list allocation request detect…
请问有谁会用Flume ,最好能给个例子
由于本人愚钝,看官网说明,仍然无法搭建使用flume的项目,不知道有谁用过这个吗?   给个简单例子就看看,到底flume 用到项目中能给我们带来什么…
Flume 1.5.0如何正常关闭,只能用kill -9吗。。
如题。。用了HDFS sink,kill -9 杀掉怕会出现永远不会rename的tmp文件,发现配置文件改动重新加载之前的tmp文件也不会被rename。。…
kafka如何实时采集http请求
@FrankHui 你好,想跟你请教个问题: 我现在想实时采集Nginx收到的http请求 打算使用kafka来缓存采集到的数据 但是现在的问题就是如何才能将Nignx的…
- 共 1 页
- 1