使用 Apache Flink 进行分布式执行以及类字段/成员的（反）序列化

Question

我对 Flink 作业有一个简单的概念证明。它基本上从 Kafka 主题接收消息（JSON 格式），将它们反序列化为域模型，根据一些预定义的规则集验证这些消息，应用一些转换，最后将生成的消息发布到 Kafka 接收器中。

我确实有几个函数/运算符使用其他“服务”类的某些行为。这些“服务”类也可以导入一些其他依赖项。

据我所知，Flink 会尝试对这些函数/运算符进行序列化（反序列化），以使整个作业真正实现分布式。我不清楚 Flink 是否会通过在这些字段/成员上使用瞬态来自动避免这种情况，或者是否足以将它们声明为静态来避免这种情况。

这是我所拥有的一个示例：

public final class SomeFlatMapFunction implements FlatMapFunction<SomeMessage, Some> {
  private static final long serialVersionUID = -5810858761065889162L;

  private static final SomeMapper MAPPER = SomeMapper.INSTANCE;

  private static final Validator VALIDATOR = Validator.INSTANCE;

  @Override
  public void flatMap(final SomeMessage value, final Collector<Some> out) {
    final var result = MAPPER.valueFrom(value);
    final var violations = VALIDATOR.getValidator().validate(result);
    if (violations.isEmpty()) {
      out.collect(result);
    }
  }
}

到目前为止，我还没有看到任何问题，但我只是在本地运行该应用程序。即使对于必须在函数的构造函数中注入这些依赖项的情况，这里最好/接受的方法是什么？看起来非常不鼓励在这些函数之间维护状态。

Answer 1

运算符确实会被序列化和反序列化，
这就是为什么有多个带有 open 和 close 方法的 Rich* 版本的运算符，
它们可以用来在反序列化之后设置一些东西，
一旦操作员已经位于它将运行的任务管理器中。
Flink 将尊重 Java 通常的序列化规则，不会序列化 static 或 transient 成员。

根据我的经验，在运算符的构造函数中注入域类不是问题。
您需要小心的是作业运行时通过网络的域类，
有时称为数据传输对象。
对于这些，最简单的事情是将它们实现为 POJO，其中有两点至关重要：

• 它们必须有一个无参构造函数。
• 它们应该用类型信息进行注释。请参阅此答案中的示例。

如果此类 POJO 将成为应用程序状态的一部分，那么第二点尤其重要，
即如果您使用 Flink 的托管状态 API。

还有一些你已经考虑过的事情：
添加 serialVersionUID 也是一个好主意。