Flume

Flume

文章 29 浏览 189

使用 Flume 进行分布式日志记录

我有一个移动服务,分布在 7 台服务器上,每台服务器都执行特定的任务。我想记录他们的信息,然后从中获取商业智能。我已经把它四舍五入到 Flume 了。…

Spring初心 2024-10-02 09:45:59 0 0

编写自定义 Flume 装饰器,但出现错误。我缺少什么?

我正在为 Cloudera 的分布式日志聚合系统 Flume 编写一个自定义装饰器插件。我的 Java 代码如下: package multiplex import java.io.IOException imp…

温柔少女心 2024-09-28 04:32:18 0 0

命令行 Flume 抛出错误

我想用flume从控制台收集日志,我用以下命令启动flume: process_which_generates_the_log | flume node_nowatch -1 -n node -c 'node : console | ag…

盛装女皇 2024-09-24 14:51:03 2 0

Scribe、Flume 和 Chukwa - 有哪些替代方案?

我想了解这些项目的替代方案,特别是设计用于聚合​​来自多个节点(&gt 500)的日志中的数据,并设计用于低内存/CPU 使用率。 我熟悉 scribe、flume …

塔塔猫 2024-09-17 10:18:27 0 0

flume sink是logger的时候输出到哪儿去了?

sink是这样的a1.sinks.s1.type=logger终端没有输出,/usr/local/Cellar/flume/1.9.0_1/libexec/bin/logs目录下也没有输出结果输出到哪儿了?…

梦魇绽荼蘼 2022-09-13 01:06:34 28 0

大附件断点续传问题

主服务器 集团公司子服务器 子公司主服务器需要从n个子服务器收集数据。数据较大的超过500G,但是因为网络问题,不能使用sftp。因为除了文件以外,还涉…

丑疤怪 2022-09-12 22:45:19 26 0

如何动态扩展flume的avro sink?

我有几个服务实例,部署了flume进行日志采集,这些flume将会通过avro sink,将日志传输到flume-master节点进行分发,目前flume-master有两个实例。我…

凶凌 2022-09-12 03:45:33 26 0

flume+kafka+spark Streaming监听处理文件,但需要streaming能对完整的单个文件进行处理。

用flume+kafka+spark streaming框架分析数据,数据文件是导入的一个一个的,也就是完整的导入的,因为这些文件中每个文件的数据都是应用场景中一次事…

冰雪梦之恋 2022-09-11 19:45:01 20 0

flume监听网络端口,使用telnet传入数据测试时发现特定汉字传入会被强制关闭连接

环境:hadoop2.8.5、flume1.9、Ubuntu18.04 问题:使用flume监听网络端口,传入数据测试时发现特定汉字传入会被强制关闭连接,如图 更换过flume1.6发…

べ繥欢鉨o。 2022-09-11 18:42:15 23 0

Flume 如何将日志通过某种映射转换为json?

可以直接通过配置文件,使用正则将日志转化为json吗? 如果不行的话,可以通过自定义脚本,输入为日志,输出为json转换吗? 没有找到这方面的资料,…

柠檬色的秋千 2022-09-07 21:03:57 14 0

日志收集并解析

初学大数据,首当其冲的学习了日志收集(主要是flume),搜索了相关日志收集架构方案,如果是flume的话,大多数建议并支持flume + kafka,作为初学者…

離殇 2022-09-07 16:34:45 16 0

flume启动Failed to commit transaction.Transaction rolled back.

执行 bin/flume-ng agent -c conf/ -f conf/flume.conf -n ecoll -Dflume.root.logger=info,console报错 org.apache.flume.sink.hbase.HBaseSink [Si…

唯憾梦倾城 2022-09-07 04:10:14 13 0

log4j2按大小分割日志供flume读取,文件大小该如何配置?

用flume收集web服务器的信息,web服务器使用log4j2日志框架1.使用&ltFlume&gtappender,发现需要很多引入jar包,版本对应很乱,放弃了。2.appender使…

对你的占有欲 2022-09-06 20:23:27 34 0

使用flume向elasticsearch写日志,下载了jar包后仍然提示有问题?

我用1.8版本的flume 在java 1.8.0_101 的主机上向elasticsearch 5.0.0传日志,我下载了 elasticsearch-5.0.0.jar 与 lucene-core-5.0.0.jar 放在flum…

几度春秋 2022-09-06 14:59:20 15 0

HBase 批量写关闭WAL

在HBase异步mutator.mutate(rows) 批量写的时候,如果关闭WAL会使得性能提升明显 但是当Region 挂的时候可能丢数据,这个Region 挂是指其中某一台挂…

总以为 2022-09-06 11:29:32 18 0
更多

推荐作者

qq_FjTq5B

文章 0 评论 0

18273202778

文章 0 评论 0

WordPress小学生

文章 0 评论 0

〃温暖了心ぐ

文章 0 评论 0

迷乱花海

文章 0 评论 0

niuniu

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文