当桌子可以使用相同的标识符对桌子进行分区时，如何组织flink中的数据流

Question

我坚信Flink是解决事件处理问题的完美解决方案。我什至设法制作了一个工作原型，但我不相信它几乎是最佳的。

这是我的场景：

• 我有两个运动流
  • 一个流包含event1并将其存储为JSON
  • 另一个流包含event2，event3和event4，但被存储为gzip'd base64（最终也是JSON）。我必须使用raw格式处理此操作，然后使用自定义UDF Process_events234 - 通过实现tablefunction [row/code> in Scala类。
• 我想检测何时到达4个相应的事件，但是我可以使用单个值来加入事件代表的所有4种数据类型。 下面

数据	具有	key2
event1	是否	是
event2	event2	是
。	是	事件
event3	：	he

请

参阅

CREATE TABLE event_1 (
  key1,
  ...
)
WITH (
    'connector' = 'kinesis',
    'stream' = 'stream_of_event_1s',
    ...
    'format' = 'json'
)

类型

CREATE TABLE events_234 (
  Data BYTES
)
WITH (
    'connector' = 'kinesis',
    'stream' = 'stream_of_event_1_2_3s',
    ...
    'format' = 'raw'
)

key1 ，3,4

CREATE VIEW event_N // Where N is 2,3,4
AS
SELECT 
      p.*
FROM
      events_234 e
      JOIN LATERAL table(process_events234(e.Data)) as p ON TRUE
WHERE
      p.eventType = 'eventN' // Where N is 2,3,4

将数据加在一起以获得我的结果，

/*INSERT INTO my_downstream_sink */
SELECT
    e1.*, e2.*, e3.*, e4.*
FROM
    event_1 e1
    INNER JOIN event_2 e2 ON e1.key1 = e2.key1
    INNER JOIN event_3 e3 ON e2.key2 = e3.key2
    INNER JOIN event_4 e4 ON e2.key2 = e4.key2

我当前的原型在10分钟内工作了几百个记录，但我怀疑它的扩展能力。我担心的是，我无法分区/keyby我认为它会存在于同一工人中。我是Flink的新手，但这似乎尤其重要。

我发生的事情是扩展步骤和运动流的数量，以便

• 我加入Event1和event2，然后将其插入新的流event1+Event2+Event2由key2 进行分区
• 。加入event1+event2与event3，event4，

但是，我只是在猜测，并感谢一些专家建议和意见。谢谢！

Answer 1

我不会担心； Flink的SQL计划者/优化器应该很好地处理。

您可能会发现使用解释和/或查看Flink Web仪表板中的最终作业图很有用，以更清楚地了解如何执行查询。我相信您会发现它正在做您的建议（创建event1+Event2流，通过key2键入它，然后与其他流一起加入）编写event1+Event2流到运动的费用并再次阅读。