Java JMS - 如何处理大量目标，每个目标没有并行性

Question

我正在寻找有关基于 JMS 的体系结构的建议...

我的应用程序需要代表数千个不同的目的地接收 JMS 消息，然后通过非 JMS 协议（即这是一个网关）传递到目的地。允许的解决方案是将所有消息最初发送到一个 JMS 队列，或者发送到每个目的地的一个队列。

解决方案需要在处理如此大量的目的地（以及每秒许多消息）时表现良好。

要求是：

1. 在将消息传递到一个目的地期间，不得为该目的地处理其他消息。
2. 消息必须根据发送到 JMS 的时间按 FIFO 进行传送
3. 不得丢失（JMS 事务语义已足够）
4. 传送必须并行到多个目的地（每个目的地没有并行性除外）
5. 应用程序有多个相同的实例，在不同的机器上，实现这个，全部同时运行。它们可以通过共享缓存或 JMS 进行通信，但通信应该简单且最少。
6. 网关将驻留在 J2EE 容器中，但不需要使用 MDB

提前致谢

Answer 1

听起来您可以为每个目标使用一个队列将消息从不同的发布者传递到网关。然后网关需要是多线程的，每个队列消费者有一个线程。因此，对于 x 数量的生产者发布到 n 个目的地，网关将需要 n 个线程，每个目的地一个线程。此架构将为您提供吞吐量，该吞吐量取决于网关在将消息转发到最终目的地之前对消息进行的处理量，以及消息在网关之前由最终目的地处理所需的时间。可以发送以下消息。

这种设计有两个缺点：

1. 您的应用程序将出现单点故障 - 网关。您将无法对其进行负载平衡，因为消费顺序对您来说很重要，因此您不希望 2 个网关耗尽同一队列。
2. 每个队列都可能成为瓶颈，堵塞处理速度不够快的消息。

如果您可以控制发布者，您是否不想使用所选的目的地协议将消息直接从发布者传输到最终目的地，而不通过网关（这似乎除了成为性能瓶颈之外没有任何用处，并且单点故障）？如果您能够实现这一点，您的下一个任务是教导最终目的地进行多处理请求，如果可能的话放宽顺序约束（要求#2）。

您的另一个选择是进行批处理。在任何给定的时间点，消费者都会耗尽队列上的所有可用消息并立即批量处理它们。这意味着您必须进行同步消息消费 (Consumer#receive())，而不是使用 onMessage 进行异步消费。

Answer 2

@Mesocyclone：根据上面 Moe 提供的问题和解决方案的输入，我可以推荐您正在寻找的可能解决方案。

您可以在网关应用程序内部为每个目的地引入一个队列。例如 dest1queue、dest2queue 等，并且只有一个输入队列用于接收消息。您可以让 MDB 的一个线程侦听部署在不同服务器上的每个内部队列。
例如，dest1queue 由 server1 上的 MDB（单线程）侦听，dest2queue 由 server2 上的 MDB（单线程）侦听，dest3queue 由 server3 上的 MDB（单线程）侦听...

所以基本上流程是：-

单输入队列暴露在网关应用程序之外 ->消息由 MDB 的 1 个或多个实例接收，其唯一目的是将传入消息路由到内部队列 ->内部队列（每个目标一个）仅由 MDB 的 1 个线程侦听（因为您不需要一个目标的并行性），该线程处理消息并与目标对话。

上述设计的好处是： -

1. 您可以让部署在不同服务器上的 MDB 线程侦听每个内部队列，以便每个 MDB 线程获得最大处理时间。
2. 在任何时间点，您都可以更改侦听一个目标的线程数量，而不会影响其他目标。
3. 然而，上述设计要求您为每个内部队列都有备份MDB服务器以避免SPOF。您部署应用程序的服务器可能提供某种故障转移功能。