flink

flink

文章 23 浏览 19

Flink metric

Flink 自带metrics reportor 能将一些基础的指标上报到配置的地方例如InfluxDB,如果我自定义了一些指标,也会自动上报吗,还是需要代码里去实现将指…

假装不在乎 2022-09-13 01:09:16 21 0

Flink-1.13 on Yarn Kerberos HDFS Delegation Token 7天失效问题。

我用的Flink-1.13,任务以PerJobCluster模式跑在Yarn上,Yarn使用kerberos做认证,现在任务跑7天Delegation Token过期不能做checkpoint。conf/flink-c…

沫尐诺 2022-09-13 00:56:09 29 0

Flink运行一段时间后报连接kafka错

运行一段时间大概18个小时就会出现这种报错,时间也不固定,是因为我配置参数的问题么#配置内容 properties.setProperty("bootstrap.servers", broker…

ゝ偶尔ゞ 2022-09-13 00:51:30 39 0

flink1.12.2之后的版本和scala的兼容性问题

刚开始学习flink,使用flink1.12.3,scala2.12写了一个本地程序后,运行的起来就会报错,下面图里这种:网上到处都找不到相关的解答,但是经过试验,…

坐在坟头思考人生 2022-09-12 23:34:13 30 0

大附件断点续传问题

主服务器 集团公司子服务器 子公司主服务器需要从n个子服务器收集数据。数据较大的超过500G,但是因为网络问题,不能使用sftp。因为除了文件以外,还涉…

丑疤怪 2022-09-12 22:45:19 34 0

使用FlinkSQL查询MySQL写入Greenplum, 出现Java heap space问题,可以通过配置避免吗?

环境是本机用docker部署的1.11.2版flink集群,就一个task manager。尝试在SQL Client里查一张50w数据的mysql表并写入GP,结果task manager报Java heap…

俏︾媚 2022-09-12 22:15:50 38 0

流数据异常检测引擎输出的时间不对

在传感器监控系统中,我用DolphinDB流数据异常检测引擎实现2分钟内若温度传感器出现2次40度以上,一次30度以上就报警的功能时,碰到报警输出时间不对…

乖乖公主 2022-09-12 04:15:35 18 0

Flink webui中不显示日志和输出

如题,我是通过docker-compose搭建的集群,用的是官方的docker-compose,改动了一下版本。 version: "2.1" services: jobmanager: image: flink:1.9.…

深府石板幽径 2022-09-12 03:44:25 22 0

Flink DataStream Source读取HDFS数据不会触发窗口计算

1.如题,我用env.readTextFile("hdfs://"),直接打印可以看到数据,但我在创建窗口的计算不会进行,使用了处理时间,窗口是10秒的滚动窗。有人知道为什…

此岸叶落 2022-09-12 03:32:37 30 0

flink如何让非广播流后于广播流初始化后执行?

问题:有什么办法可以让非广播流processElement在广播流processBroadcastElement读取完毕之后进行?伪代码如下: DataStream a //来自外部source Dat…

温柔少女心 2022-09-12 03:16:56 24 0

如何在树莓派4B上通过docker安装Flink

如题,题主想搭建一个边缘计算网络,计算模组选用的是树莓派。目前docker还有对应的docker-compose都已经装好。系统选用的是官方的raspbian,系统版…

°如果伤别离去 2022-09-12 03:00:19 24 0

flink在yarn集群上提交报异常:org.apache.flink.runtime.jobmana

问题描述 今天搭建好flink集群,并使用如下命令提交任务,报了异常。我的命令是: [root@tuge1 flink-1.10.1]# ./bin/flink run -m yarn-cluster -ynm…

豆芽 2022-09-12 02:57:34 17 0

flink DataStream算子中如何实时更新变量?

我在第一个map需要用到变量currentCenter,然后我输出的结果需要更新currentCenter(最后一个map),但是没办法更新,有什么办法更新吗?…

梦纸 2022-09-12 02:47:56 17 0

Flink taskmanager中静态变量如何回收

问题描述 Flink on yarn 模式,每个taskmanager分配四个slot,slot中运行的算子中定义静态变量a,当我cancel 相应的任务后,发现静态变量a未被回收,…

╰沐子 2022-09-12 02:02:08 10 0

关于Flink中AssignerWithPeriodicWatermarks定时生成Watermark的问题

我这边有个程序,已经进行了如下设置,即使用EventTimestreamEnv.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)当我用AscendingTimesta…

戏剧牡丹亭 2022-09-12 00:46:09 34 0
更多

推荐作者

1CH1MKgiKxn9p

文章 0 评论 0

ゞ记忆︶ㄣ

文章 0 评论 0

JackDx

文章 0 评论 0

信远

文章 0 评论 0

yaoduoduo1995

文章 0 评论 0

霞映澄塘

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文