Apache Flume

Apache Flume

文章 15 浏览 71

openSOC环境具体如何搭建

@Booklearn 你好,想跟你请教个问题: &nbsp &nbsp 最近看了官方给的openSOC开源项目,但是看的云里雾里,不知道具体该如何搭建这样的一个环境,根据…

倚栏听风 2022-03-08 15:32:37 923 0

既有服务器上安装flume的JDK版本问题。

目前生产上跑着的应用使用的是JDK1.6(无法升级,各种原因)。现在想使用flume收集日志。 我看flume 要求jdk1.7以上,如果我再在服务器上安装一个jdk1…

乞讨 2021-12-06 18:44:17 948 0

flume收集异常

数据采集完后就会出现 Writer callback called,下次有新的数据产生后也不会收集了…

陌若浮生 2021-12-05 00:46:40 922 0

Flume 实时收集nginx的日志放到hadoop去

agent1.sources=source1 agent1.sinks=sink1 agent1.channels=channel1 #配置source1 agent1.sources.source1.type=exec agent1.sources.source1.com…

离不开的别离 2021-12-03 18:20:29 865 0

关于flume向hdfs写入文件的问题

flume通过spooldir向hdfs写入文件时,为了避免频繁产生新文件,设置了每128M产生一个新文件。 spooldir是每分钟产生大量小文件 但是运行过程中发现一…

夜无邪 2021-12-01 17:52:07 879 0

flume 往hdfs 里写失败不知为啥

2016-04-03 14:50:21,897 (hdfs-k1-call-runner-17) [ERROR - org.apache.flume.sink.hdfs.AbstractHDFSWriter.hflushOrSync(AbstractHDFSWriter.java…

平定天下 2021-12-01 06:55:33 989 0

Logstash中怎么根据数据内容做多个output

比方说,数据用#分割 abc#1#测试数据1 abc#2#测试数据2 我在output里需要完成一个事情,在输出的时候,数据的输出目录需要根据第二个字段来确定,数据…

柠檬 2021-11-30 11:37:25 840 0

请问flume如何监控tomcat日志

请问大大们, 如何使用flume监控tomcat日志? 我看了一篇教程&ltflume 示例一收集tomcat日志&gt http://my.oschina.net/88sys/blog/71529 结果运行flum…

平定天下 2021-11-29 17:38:02 806 0

flume 写入hadoop时报错。

2015-08-10 16:01:22,819 (SinkRunner-PollingRunner-DefaultSinkProcessor) &nbsp[ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSE…

孤独患者 2021-11-29 08:50:39 731 0

flume 1.6.0 源码编译

flume 1.6.0 官网源码下载下来,mvn 编译老是失败,寻求指教!!! …

成熟的代价 2021-11-29 06:56:04 792 0

使用Apache Flume监控Log4J产生的日志,但是如果日志文件因为容量的原因转储了会如何?

考虑使用Apache Flume监控Log4J产生的日志,也简单了解以一下Flume的原理,发现Flume Agent是利用Tail命令实时收集某一文件上追加的内容来实现的。那…

奢华的一滴泪 2021-11-28 11:31:19 765 0

flume 在配置source 访问avro 的时候,能使用socket 发送数据给avro,可以接受吗

在本地使用socket 编程 去调用远程的flume机器,发现有个 org.apache.avro.AvroRuntimeException: Excessively large list allocation request detect…

静谧 2021-11-27 18:22:42 882 0

请问有谁会用Flume ,最好能给个例子

由于本人愚钝,看官网说明,仍然无法搭建使用flume的项目,不知道有谁用过这个吗? &nbsp 给个简单例子就看看,到底flume 用到项目中能给我们带来什么…

鹤舞 2021-11-26 14:39:27 890 0

Flume 1.5.0如何正常关闭,只能用kill -9吗。。

如题。。用了HDFS sink,kill -9 杀掉怕会出现永远不会rename的tmp文件,发现配置文件改动重新加载之前的tmp文件也不会被rename。。…

悟红尘 2021-11-21 18:22:33 786 0

kafka如何实时采集http请求

@FrankHui 你好,想跟你请教个问题: 我现在想实时采集Nginx收到的http请求 打算使用kafka来缓存采集到的数据 但是现在的问题就是如何才能将Nignx的…

把回忆走一遍 2021-11-20 14:29:38 862 0
更多

推荐作者

留蓝

文章 0 评论 0

18790681156

文章 0 评论 0

zach7772

文章 0 评论 0

Wini

文章 0 评论 0

ayeshaaroy

文章 0 评论 0

初雪

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文