Flume

Flume

文章 29 浏览 190

在 Windows 上运行 Flume master

我可以在 Windows 上运行 Cloudera Flume 节点,但无法运行 Flume master。 这可能吗?如何才能做到?…

当梦初醒 2024-11-08 13:46:29 1 0

Flume 代理 - 我可以指定 gzip 或 bz2 等压缩吗?

是否可以在 Flume 代理上指定压缩选项,以便数据以压缩格式传输到收集器?我知道收集器级别有压缩选项,但是能够从代理传输压缩数据也非常有用。 谢谢…

梦醒灬来后我 2024-10-19 10:44:33 2 0

使用 Flume 进行分布式日志记录

我有一个移动服务,分布在 7 台服务器上,每台服务器都执行特定的任务。我想记录他们的信息,然后从中获取商业智能。我已经把它四舍五入到 Flume 了。…

Spring初心 2024-10-02 09:45:59 6 0

编写自定义 Flume 装饰器,但出现错误。我缺少什么?

我正在为 Cloudera 的分布式日志聚合系统 Flume 编写一个自定义装饰器插件。我的 Java 代码如下: package multiplex import java.io.IOException imp…

温柔少女心 2024-09-28 04:32:18 6 0

命令行 Flume 抛出错误

我想用flume从控制台收集日志,我用以下命令启动flume: process_which_generates_the_log | flume node_nowatch -1 -n node -c 'node : console | ag…

盛装女皇 2024-09-24 14:51:03 8 0

Scribe、Flume 和 Chukwa - 有哪些替代方案?

我想了解这些项目的替代方案,特别是设计用于聚合​​来自多个节点(&gt 500)的日志中的数据,并设计用于低内存/CPU 使用率。 我熟悉 scribe、flume …

塔塔猫 2024-09-17 10:18:27 6 0

flume sink是logger的时候输出到哪儿去了?

sink是这样的a1.sinks.s1.type=logger终端没有输出,/usr/local/Cellar/flume/1.9.0_1/libexec/bin/logs目录下也没有输出结果输出到哪儿了?…

梦魇绽荼蘼 2022-09-13 01:06:34 34 0

大附件断点续传问题

主服务器 集团公司子服务器 子公司主服务器需要从n个子服务器收集数据。数据较大的超过500G,但是因为网络问题,不能使用sftp。因为除了文件以外,还涉…

丑疤怪 2022-09-12 22:45:19 33 0

如何动态扩展flume的avro sink?

我有几个服务实例,部署了flume进行日志采集,这些flume将会通过avro sink,将日志传输到flume-master节点进行分发,目前flume-master有两个实例。我…

凶凌 2022-09-12 03:45:33 31 0

flume+kafka+spark Streaming监听处理文件,但需要streaming能对完整的单个文件进行处理。

用flume+kafka+spark streaming框架分析数据,数据文件是导入的一个一个的,也就是完整的导入的,因为这些文件中每个文件的数据都是应用场景中一次事…

冰雪梦之恋 2022-09-11 19:45:01 26 0

flume监听网络端口,使用telnet传入数据测试时发现特定汉字传入会被强制关闭连接

环境:hadoop2.8.5、flume1.9、Ubuntu18.04 问题:使用flume监听网络端口,传入数据测试时发现特定汉字传入会被强制关闭连接,如图 更换过flume1.6发…

べ繥欢鉨o。 2022-09-11 18:42:15 30 0

Flume 如何将日志通过某种映射转换为json?

可以直接通过配置文件,使用正则将日志转化为json吗? 如果不行的话,可以通过自定义脚本,输入为日志,输出为json转换吗? 没有找到这方面的资料,…

柠檬色的秋千 2022-09-07 21:03:57 19 0

日志收集并解析

初学大数据,首当其冲的学习了日志收集(主要是flume),搜索了相关日志收集架构方案,如果是flume的话,大多数建议并支持flume + kafka,作为初学者…

離殇 2022-09-07 16:34:45 22 0

flume启动Failed to commit transaction.Transaction rolled back.

执行 bin/flume-ng agent -c conf/ -f conf/flume.conf -n ecoll -Dflume.root.logger=info,console报错 org.apache.flume.sink.hbase.HBaseSink [Si…

唯憾梦倾城 2022-09-07 04:10:14 17 0

log4j2按大小分割日志供flume读取,文件大小该如何配置?

用flume收集web服务器的信息,web服务器使用log4j2日志框架1.使用&ltFlume&gtappender,发现需要很多引入jar包,版本对应很乱,放弃了。2.appender使…

对你的占有欲 2022-09-06 20:23:27 39 0
更多

推荐作者

烙印

文章 0 评论 0

singlesman

文章 0 评论 0

独孤求败

文章 0 评论 0

晨钟暮鼓

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文