Flink-1.13 on Yarn Kerberos HDFS Delegation Token 7天失效问题。
我用的Flink-1.13,任务以PerJobCluster模式跑在Yarn上,Yarn使用kerberos做认证,现在任务跑7天Delegation Token过期不能做checkpoint。conf/flink-c…
Flink运行一段时间后报连接kafka错
运行一段时间大概18个小时就会出现这种报错,时间也不固定,是因为我配置参数的问题么#配置内容 properties.setProperty("bootstrap.servers", broker…
flink1.12.2之后的版本和scala的兼容性问题
刚开始学习flink,使用flink1.12.3,scala2.12写了一个本地程序后,运行的起来就会报错,下面图里这种:网上到处都找不到相关的解答,但是经过试验,…
使用FlinkSQL查询MySQL写入Greenplum, 出现Java heap space问题,可以通过配置避免吗?
环境是本机用docker部署的1.11.2版flink集群,就一个task manager。尝试在SQL Client里查一张50w数据的mysql表并写入GP,结果task manager报Java heap…
Flink webui中不显示日志和输出
如题,我是通过docker-compose搭建的集群,用的是官方的docker-compose,改动了一下版本。 version: "2.1" services: jobmanager: image: flink:1.9.…
Flink DataStream Source读取HDFS数据不会触发窗口计算
1.如题,我用env.readTextFile("hdfs://"),直接打印可以看到数据,但我在创建窗口的计算不会进行,使用了处理时间,窗口是10秒的滚动窗。有人知道为什…
flink如何让非广播流后于广播流初始化后执行?
问题:有什么办法可以让非广播流processElement在广播流processBroadcastElement读取完毕之后进行?伪代码如下: DataStream a //来自外部source Dat…
如何在树莓派4B上通过docker安装Flink
如题,题主想搭建一个边缘计算网络,计算模组选用的是树莓派。目前docker还有对应的docker-compose都已经装好。系统选用的是官方的raspbian,系统版…
flink在yarn集群上提交报异常:org.apache.flink.runtime.jobmana
问题描述 今天搭建好flink集群,并使用如下命令提交任务,报了异常。我的命令是: [root@tuge1 flink-1.10.1]# ./bin/flink run -m yarn-cluster -ynm…
flink DataStream算子中如何实时更新变量?
我在第一个map需要用到变量currentCenter,然后我输出的结果需要更新currentCenter(最后一个map),但是没办法更新,有什么办法更新吗?…
Flink taskmanager中静态变量如何回收
问题描述 Flink on yarn 模式,每个taskmanager分配四个slot,slot中运行的算子中定义静态变量a,当我cancel 相应的任务后,发现静态变量a未被回收,…
关于Flink中AssignerWithPeriodicWatermarks定时生成Watermark的问题
我这边有个程序,已经进行了如下设置,即使用EventTimestreamEnv.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)当我用AscendingTimesta…