春季kafka |如何使避风式可重击？

Question

我有一个生产商，该制片人以 avro 格式发送消息，而消费者则倾听这些消息。

我还通过在我的消费者中使用@retryabletopic来处理错误，从而实现了非阻滞试验。

当消费者无法对消息进行估算（由于模式更改或任何原因）时，它不会将该消息放在-Retry-Retry主题中。它将其直接发送到-DLT主题。

我希望deSerializationException也需要重述。原因是，当这些错误被重述时，我可以在消费者中部署修复程序，以最终可以成功进行。

我在@retryabletopic中尝试了includ选项，但似乎对deserializationException不起作用。

  @RetryableTopic(
    attempts = "${app.consumer.retry.topic.count:5}",
    backoff = @Backoff(delayExpression = "${app.consumer.retry.topic.back-off:2000}"),
    fixedDelayTopicStrategy = FixedDelayStrategy.SINGLE_TOPIC,
    include = {DeserializationException.class}  // does not work
  )

是@retryabletopic中的错误吗？还是有其他方法可以实现这一目标？

Answer 1

由于Spring Kafka 2.8.3有一组全局致命异常，如您所述，将直接将记录转发到dlt。

处理此类例外的通常模式是，在修复了修复程序之后，具有某种控制台应用程序，可以从dlt中检索失败的记录并重新处理，也许是通过将记录发送回记录到第一个重试的主题，因此主题中没有重复。

对于您描述的模式，您可以通过提供destinationTopicResolver bean，例如：

@Bean(name = RetryTopicInternalBeanNames.DESTINATION_TOPIC_CONTAINER_NAME)
public DestinationTopicResolver topicResolver(ApplicationContext applicationContext) {
    DefaultDestinationTopicResolver ddtr = new DefaultDestinationTopicResolver(Clock.systemUTC(), applicationContext);
    ddtr.removeClassification(DeserializationException.class);
    return ddtr;
}

请让我知道是否对您有用，可以管理致命异常。谢谢。

Answer 2

这是我们实现的方式：

  @Bean(name = RetryTopicInternalBeanNames.DESTINATION_TOPIC_CONTAINER_NAME)
  public DestinationTopicResolver destinationTopicResolver(ApplicationContext context) {
    DefaultDestinationTopicResolver resolver = new DefaultDestinationTopicResolver(systemUTC(), context);
    resolver.setClassifications(emptyMap(), true);
    return resolver;
  }

这样，我们不必指定每个例外就可以一个一个。另一个解决方案是Tomaz的建议：

  @Bean(name = RetryTopicInternalBeanNames.DESTINATION_TOPIC_CONTAINER_NAME)
  public DestinationTopicResolver topicResolver(ApplicationContext applicationContext) {
    DefaultDestinationTopicResolver ddtr = new DefaultDestinationTopicResolver(systemUTC(), applicationContext);
    ddtr.removeClassification(DeserializationException.class);
    ddtr.removeClassification(ClassCastException.class);
    return ddtr;
  }