flink-streaming

flink-streaming

文章 0 浏览 1

当桌子可以使用相同的标识符对桌子进行分区时,如何组织flink中的数据流

我坚信Flink是解决事件处理问题的完美解决方案。我什至设法制作了一个工作原型,但我不相信它几乎是最佳的。 这是我的场景: 我有两个运动流 一个流包…

梦里兽 2025-01-23 13:47:23 5 0

Flink getResult()的聚合功能可以更改累加器值?

getResult()函数可以更改累加器的值吗?在累积时仍会有效应值。 代码在下面: public class WeightedAverage implements AggregateFunction { publi…

小苏打饼 2025-01-23 12:53:38 2 0

Flink Oracle连接

我正在使用支持 Flink 1.13 的AWS Kinesis Studio。我看到Flink 1.13不支持Oracle连接。 基于版本1.13的文档,它支持 mysql,Postgresql,derby。 我…

余厌 2025-01-23 02:42:34 3 0

在flink SQL或表API中控制每个操作员并行性

我正在使用Flink SQL来定义从无限源(Google pubsub)读取的流媒体作业,并使用HBase接收器写入Google Bigtable。查询是在流中窗口窗口,并在这些窗口…

沧桑㈠ 2025-01-23 00:09:54 2 0

Flink缺少窗户处理器(事件时间窗口)和Kafka源

我们有一个流媒体作业,具有20个单独的管道,每个管道都有一个/许多Kafka主题来源,并且一些管道带有窗户处理器,而其他管道则是未窗口的处理器。 当…

帅气称霸 2025-01-22 20:48:01 2 0

Flink应用程序上的垃圾收集

我在Scala中有一个非常简单的Flink应用程序。我有2个简单的流。我正在将我的一条小溪广播到另一个流。广播流包含规则,只是检查另一个是流的元组在规…

时间你老了 2025-01-22 18:29:30 3 0

如何使用Flink中的单个窗口进行多个汇总?

我是Flink的新手,我想做很多次在Spark中做的事情。 例如,在Spark中,我可以在 ds.groupByKey(???).mapGroups(???) // aggregate 1 .groupByKey(???)…

素罗衫 2025-01-22 14:24:18 2 0

如何在爪哇

我想在Apache Flink Java中序列化并进行序列化avro消息。我也很高兴能在Scala中实施。 我在下面附上了我的源代码。我希望源代码中的评论能够清楚地表…

半﹌身腐败 2025-01-22 14:14:38 2 0

FLINK-如何解决过滤器功能中的背压?

使用Flink v1.13.2使用RockSDB,我正在用Grafana中的以下命令来测量任务按: sum by(task_name)(flink_task_taskmanager_job_job_job_task_back_ba…

ˇ宁静的妩媚 2025-01-22 05:55:44 3 0

有人面对这个``时间戳始终都应该是非负或无效的。

从Flink应用程序向Kafka主题发布消息时获取此错误。 相同的代码在我们的测试环境中使用相似的生产者配置,但在生产环境中失败。我找不到这个问题的原…

四叶草在未来唯美盛开 2025-01-21 16:49:13 3 0

Adpative调度程序未通过Flink 1.14.0识别

我正在尝试使用Flink 1.14的自适应时间表来基于可用资源来运行Flink作业,而不是等待所需的并行性(缩放),但我看不到Flink识别自适应时间表。 Ex: f…

冰魂雪魄 2025-01-21 14:10:18 2 0

Flink流根据条件进入两个接收器

试图根据条件看到流到两个水槽的可能性。 Requirement is stream have events, all events after transformation need to go to one sink ( assume on…

无尽的现实 2025-01-21 02:40:42 3 0

datastream/table API的统一连接器

我正在为 Flink 1.14.4 编写一个简单的连接器(源/接收器),它主要包装官方的 Kafka 连接器并自动设置自定义序列化器/反序列化器。我对 FLIP-27 中引…

骑趴 2025-01-21 01:32:11 3 0

Flink Task Manager如何预先设置几个设置

我需要下载密钥库并在创建源连接器时使用并使用它,目前,我正在覆盖方法但是,这被我的每个源连接器都要求。 @Override public void open(Configurat…

罗罗贝儿 2025-01-20 23:53:11 2 0

在键控流程函数或窗口流中映射状态生命周期

窗口到期后还是在调用该特定键的Ontimer函数后自动清除MapState内容,或者必须手动清除ttl配置…

分分钟 2025-01-20 13:54:25 3 0
更多

推荐作者

alipaysp_snBf0MSZIv

文章 0 评论 0

梦断已成空

文章 0 评论 0

瞎闹

文章 0 评论 0

寄意

文章 0 评论 0

似梦非梦

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文