flink-streaming

flink-streaming

文章 0 浏览 1

我可以使用RockSDB状态后端在Flink中可以拥有的最大列表状态是什么

计划在Flink List状态中缓冲CDC事件,直到准备播放为止。给定键可以支持的最大列表大小是多少?…

帅气称霸 2025-02-02 20:00:20 4 0

迭代列表状态,有数百万张唱片

我想将所有CDC记录存储在列表状态中,并在收到触发消息后将这些记录流式传输到各自的水槽。 列表状态可以成长为一百万个记录, keyedProcessfunction …

时光暖心i 2025-02-02 18:59:11 5 0

Apache Flink:flink UI的根本原因异常在日志中不可见

我有一个flink作业运行,并配置为与记录back配置进行登录,奇怪的问题是,当发生异常时,在文件日志或控制台日志中找不到flink web UI中的根本原因例…

酒废 2025-02-02 18:43:36 4 0

无法在Apache Flink中使用PULSAR共享订阅

Flink Data Pipeline从Apache Pulsar分区主题中读取。我已经将 pulsarsource 订阅设置为 sisscriptionType.exclusive 。将其更改为 sisscriptionType.…

网名女生简单气质 2025-02-02 12:28:31 3 0

在apache flink中使用水槽以阅读目的?

我是Apache Flink(和Stackoverflow)的新手,我想知道处理以下方案的最佳实践: 我目前正在使用其他人的应用程序使用Kafkasource消费实时消息。如果…

黯淡〆 2025-02-01 08:54:22 3 0

Flink Oracle JDBC水槽连接器不加载驱动程序

我正在尝试将FLINK JBDC接收器创建到Oracle数据库。当本地运行(从Junit测试和微型驱动器中)时,它可以正常运行,但是当在K8中部署时,它会引发一个…

初吻给了烟 2025-02-01 08:07:38 4 0

Flink AndientTimestampSandwatermark

我想通过request_time来计算健康检查数据的状态代码,从当前时间开始使用1分钟的窗口。 众所周知,健康检查每分钟发送约60条请求。因此,结果应该像 {…

最终幸福 2025-02-01 05:35:13 4 0

cocece.go:220:警告:不能用非表格覆盖桌

我如何找到哪个YAML文件创建此错误。 我正在使用本机Kubernetes flink部署,但是当我运行Helm模板时,我会遇到此错误。 coalesce.go:220: warning: ca…

北方的韩爷 2025-01-31 23:53:33 4 0

Flink Kafkasource阅读了该主题的所有消息

我的目标是使用Flink Kafkasource阅读Kafka主题的所有消息。我尝试使用批处理和流模式执行。问题是以下: 当我设置env.setParallelism高于2时,我必须…

自由如风 2025-01-31 20:51:15 3 0

是否有flink指标显示具有哈希图状态后端状态的键数?

我将Apache Flink 1.14与RockSDB一起作为状态后端,我考虑将状态后端迁移到Hashmap以改善延迟。 这种方法的主要缺点是rocksdb公开了一个指标指标 - 遗…

2025-01-31 17:29:34 3 0

在Flink中设置操作员适当并行的直觉

我的问题是要了解在固定集群设置中flink工作中运营商的并行性的好选择。假设,我们有一个包含 MAP 和的FLINK作业DAG 在它们之间使用管道的边缘键入运…

雨巷深深 2025-01-31 11:48:59 4 0

Flink聚集功能与keyedProcesfunction and valuestate

我们有一个应用程序,可以消耗来自Kafka源的事件。处理每个元素的逻辑需要考虑以前收到的事件(具有相同的分区密钥),而无需花费时间进行窗口。第一…

孤星 2025-01-31 06:43:31 2 0

为什么我的水印不在我的Apache Flink Keyed Stream中前进?

我目前正在将Apache Flink 1.13.2与Java一起用于流媒体应用程序。我正在使用没有窗口功能的键功能。尽管我的水印没有前进,但我已经实施了水印策略和 …

这样的小城市 2025-01-31 06:40:47 3 0

RegisterEventTimetimer未使用水印发射

我正在使用kafkasource读取事件类型的KAFKA消息,根据文档, KafkaSource source = KafkaSource.builder() .setProperties(kafkaProperties) .setBoot…

叹倦 2025-01-31 02:46:59 1 0

即使状态存在密钥,ProcessElement发出记录

我有一个保存数据2分钟的状态,即使该密钥有一个州,有时仍然会发出记录。 @Override public void processElement(EngagerEvents value, KeyedProcess…

绿光 2025-01-30 12:35:56 0 0
更多

推荐作者

alipaysp_snBf0MSZIv

文章 0 评论 0

梦断已成空

文章 0 评论 0

瞎闹

文章 0 评论 0

寄意

文章 0 评论 0

似梦非梦

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文