flume监听网络端口,使用telnet传入数据测试时发现特定汉字传入会被强制关闭连接

发布于 2022-09-11 18:42:15 字数 1255 浏览 23 评论 0

环境:hadoop2.8.5、flume1.9、Ubuntu18.04

问题:使用flume监听网络端口,传入数据测试时发现特定汉字传入会被强制关闭连接,如图

图片描述

更换过flume1.6发现仍然是这个问题

flume配置如下:

a1.sources = r1
a1.sinks = k1
a1.channels = c1

#a1.sources.r1.type = spooldir
#a1.sources.r1.spoolDir = /usr/local/ceshi

a1.sources.r1.type = netcat
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 5555
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = timestamp

#a1.sources.r1.inputCharset = UTF-8

a1.sinks.k1.type=hdfs

a1.sinks.k1.channel=c1
a1.sinks.k1.hdfs.useLocalTimeStamp=true
a1.sinks.k1.hdfs.path=hdfs://master:9000/flume
a1.sinks.k1.hdfs.filePrefix=%Y%m%d%H_
a1.sinks.k1.hdfs.minBlockReplicas=1
a1.sinks.k1.hdfs.fileType=DataStream
a1.sinks.k1.hdfs.writeFormat=Writable
a1.sinks.k1.hdfs.rollInterval=900
a1.sinks.k1.hdfs.rollSize=1024000
a1.sinks.k1.hdfs.rollCount=0
a1.sinks.k1.hdfs.idleTimeout=0

a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /var/log/flume-ng/checkpoint
a1.channels.c1.dataDirs = /var/log/flume-ng/data
a1.sources.r1.channels=c1
a1.sinks.k1.channel = c1

问题出现的环境背景及自己尝试过哪些方法

相关代码

// 请把代码文本粘贴到下方(请勿用图片代替代码)

你期待的结果是什么?实际看到的错误信息又是什么?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文