如何使用 KeyedProcessFunction 实现在 apache flink 中进行多个窗口聚合？

Question

我想扩展下面的窗口聚合以计算更高的窗口聚集。

我的下部窗口聚合使用了keyedProcessfunction，并且实现了OnTimer，以便在窗口末端将数据冲入水槽中。

我的代码类似于此处解释的内容： https://nightlies.apache.org/flink/flink/flink-docs-release-1.14/docs/learn-flink/event_driven/ 。但是我还需要在较高的窗口上计算聚合，

Input -> window(15 secs) -> window(1 min) -> window(15 min) -> ...
 ... ->window(1 day) -> out_1 -> out_2 -> out_3 ... ->out_n

如何扩展较低的窗口结果以计算较高的窗口聚合？

Answer 1

您可以从窗口的下层层获取输出，然后将其发送到较高的窗口中，例如：

val hourlyTips = fares
    .map((f: TaxiFare) => (f.driverId, f.tip))
    .keyBy(_._1)
    .window(TumblingEventTimeWindows.of(Time.hours(1)))
    .reduce((f1: (Long, Float), f2: (Long, Float)) => { (f1._1, f1._2 + f2._2) })

val dailyTips = hourlyTips
    .keyBy(_._1)
    .window(TumblingEventTimeWindows.of(Time.hours(24)))
    .reduce((f1: (Long, Float), f2: (Long, Float)) => { (f1._1, f1._2 + f2._2) })

hourlyTips.addSink(...)
dailyTips.addSink(...)

无论是使用DataStream Windows实现窗口，还是使用keyedProcessfunction实现自己的窗口。