Flume

Flume

文章 29 浏览 191

如何配置 log4j 进行包级别日志记录?

我想登录多个日志文件(flume 和 console)。如何将log4j设置为包级别?即将com.mypackage.myclass设置为flume并将其他包设置为控制台..…

旧情别恋 2024-12-07 06:46:13 1 0

Cloudera 的 Flume 与 Facebook 的 Scribe

有没有人有机会同时从事这两项工作?我需要建立一个框架来移动数据。基本上,我们有以文本文件形式输入的点击流数据。这些数据需要从应用程序服务器移…

━╋う一瞬間旳綻放 2024-12-06 11:10:48 1 0

如何备份flume主节点配置?

我正在一个项目中使用 Flume,并正在寻找一种备份主节点配置的方法。我该怎么做呢?我似乎在用户指南上找不到有关备份的任何信息。 另外,我希望主节…

游魂 2024-12-03 02:51:26 1 0

如何将命名管道尾接到 Flume Windows 节点(Flume 节点服务)

不确定这是一个 SO、SuperUser 还是 ServerFault 问题,但我刚刚在 Windows 计算机上安装了 FlumeNode 服务,并且我想通过命名管道将日志信息发送到 F…

时光清浅 2024-11-25 00:35:07 3 0

在 Windows 上运行 Flume master

我可以在 Windows 上运行 Cloudera Flume 节点,但无法运行 Flume master。 这可能吗?如何才能做到?…

当梦初醒 2024-11-08 13:46:29 4 0

Flume 代理 - 我可以指定 gzip 或 bz2 等压缩吗?

是否可以在 Flume 代理上指定压缩选项,以便数据以压缩格式传输到收集器?我知道收集器级别有压缩选项,但是能够从代理传输压缩数据也非常有用。 谢谢…

梦醒灬来后我 2024-10-19 10:44:33 7 0

使用 Flume 进行分布式日志记录

我有一个移动服务,分布在 7 台服务器上,每台服务器都执行特定的任务。我想记录他们的信息,然后从中获取商业智能。我已经把它四舍五入到 Flume 了。…

Spring初心 2024-10-02 09:45:59 11 0

编写自定义 Flume 装饰器,但出现错误。我缺少什么?

我正在为 Cloudera 的分布式日志聚合系统 Flume 编写一个自定义装饰器插件。我的 Java 代码如下: package multiplex; import java.io.IOException; i…

温柔少女心 2024-09-28 04:32:18 9 0

命令行 Flume 抛出错误

我想用flume从控制台收集日志,我用以下命令启动flume: process_which_generates_the_log | flume node_nowatch -1 -n node -c 'node : console | ag…

盛装女皇 2024-09-24 14:51:03 12 0

Scribe、Flume 和 Chukwa - 有哪些替代方案?

我想了解这些项目的替代方案,特别是设计用于聚合​​来自多个节点(> 500)的日志中的数据,并设计用于低内存/CPU 使用率。 我熟悉 scribe、flume 和…

塔塔猫 2024-09-17 10:18:27 11 0

flume sink是logger的时候输出到哪儿去了?

sink是这样的a1.sinks.s1.type=logger终端没有输出,/usr/local/Cellar/flume/1.9.0_1/libexec/bin/logs目录下也没有输出结果输出到哪儿了?…

梦魇绽荼蘼 2022-09-13 01:06:34 38 0

大附件断点续传问题

主服务器 集团公司子服务器 子公司主服务器需要从n个子服务器收集数据。数据较大的超过500G,但是因为网络问题,不能使用sftp。因为除了文件以外,还涉…

丑疤怪 2022-09-12 22:45:19 38 0

如何动态扩展flume的avro sink?

我有几个服务实例,部署了flume进行日志采集,这些flume将会通过avro sink,将日志传输到flume-master节点进行分发,目前flume-master有两个实例。我…

凶凌 2022-09-12 03:45:33 36 0

flume+kafka+spark Streaming监听处理文件,但需要streaming能对完整的单个文件进行处理。

用flume+kafka+spark streaming框架分析数据,数据文件是导入的一个一个的,也就是完整的导入的,因为这些文件中每个文件的数据都是应用场景中一次事…

冰雪梦之恋 2022-09-11 19:45:01 33 0

flume监听网络端口,使用telnet传入数据测试时发现特定汉字传入会被强制关闭连接

环境:hadoop2.8.5、flume1.9、Ubuntu18.04 问题:使用flume监听网络端口,传入数据测试时发现特定汉字传入会被强制关闭连接,如图 更换过flume1.6发…

べ繥欢鉨o。 2022-09-11 18:42:15 35 0
更多

推荐作者

已经忘了多久

文章 0 评论 0

15867725375

文章 0 评论 0

LonelySnow

文章 0 评论 0

走过海棠暮

文章 0 评论 0

轻许诺言

文章 0 评论 0

信馬由缰

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文