Flink SQL间隔连接不触发

Question

我在两个无界流之间有一个简单的间隔连接。这可以处理较小的工作负载，但是在较大的（生产环境）的情况下，它不再起作用。从观察输出来看，我可以看到只有在扫描整个主题（并因此读取内存？）后，flink sql sql作业触发器/emitts记录，但是我希望在Ingle Match IS IS时触发记录成立。由于在我的生产环境中，该作业无法承受将整个桌子读成记忆的内容。

我正在制作的间隔联接与此处提供的示例非常相似： https://github.com/ververica/flink-sql-cookbook/blob/main/main/moins/02_interval_joins/02_interval_joins.md

SELECT
  o.id AS order_id,
  o.order_time,
  s.shipment_time,
  TIMESTAMPDIFF(DAY,o.order_time,s.shipment_time) AS day_diff
FROM orders o
JOIN shipments s ON o.id = s.order_id
WHERE 
    o.order_time BETWEEN s.shipment_time - INTERVAL '3' DAY AND s.shipment_time;

除了我的时间间隔尽可能小（尽可能小）秒）。我在Flink SQL源表上也有5秒钟的水印。

我如何指示Flink在与Join进行单个“匹配”后立即触发记录？由于目前，这项工作正在尝试在发出任何记录之前扫描整个桌子，这对于我的数据量不可行。从我的理解来看，它只需要扫描到间隔（时间窗口）并进行检查，然后一旦通过间隔，就会发出/触发记录。

同样，从观察集群中，我可以看到水印正在移动，但没有发射记录。

Answer 1

可能放弃了一些数据，您可以检查活动时间是否合理。在这个场景中，您可以尝试使用常规加入并设置3天TTL（table.state.ttl = 3天），该>）可以确保加入的每个数据的输出。