使用 Netty 和 NIO 实现高并发 HTTP

Question

我正在研究 示例 Netty HTTP 客户端代码，以便在并发、线程环境中发出 http 请求。

然而，我的系统在吞吐量相当低的情况下完全崩溃了（有很多例外）。

几乎用伪代码：

ClientBootstrap bootstrap = new ClientBootstrap(new NioClientSocketChannelFactory()) 
bootstrap.setPipelineFactory(new HttpClientPipelineFactory());

ChannelFuture future = bootstrap.connect(new InetSocketAddress(host, port));
Channel channel = future.awaitUninterruptibly().getChannel();

HttpRequest request = new DefaultHttpRequest();
channel.write(request);

在示例中，为了发出请求，我创建了一个 ClientBootstrap，并从那里（通过几个圈）创建一个 Channel 来编写 HTTPRequest。

这一切都有效并且很好。

然而，在并发情况下，每个请求都应该经历相同的循环吗？我认为这就是目前对我来说最糟糕的事情。我应该重用连接还是以完全不同的方式构建我的客户端？

另外：我正在 Clojure 中执行此操作，如果这有任何区别的话。

Answer 1

不，你做的事情是对的。但是，您必须保留对 Channel 实例的引用。一旦您拥有该通道，只要它处于打开状态，您就不需要创建另一个引导程序。 （如果这就是你正在做的事情。）

这是我在最近的项目中使用的：

class ClientConnection （构造函数）

// Configure the client.
bootstrap = new ClientBootstrap(
    new NioClientSocketChannelFactory(
        Executors.newCachedThreadPool(),
        Executors.newCachedThreadPool()
    )
);

// Set up the pipeline factory.
bootstrap.setPipelineFactory(
    new ChannelPipelineFactory() {
        public ChannelPipeline getPipeline() throws Exception {
            return Channels.pipeline(
                // put your handlers here
            );
        }
    }
);

class ClientConnection.connect(String host, int port)

if (isConnected()) {
    throw new IllegalStateException("already connected");
}

// Start the connection attempt.
ChannelFuture future = bootstrap.connect(new InetSocketAddress(host, port));

channel = future.awaitUninterruptibly().getChannel();

// Wait until the connection is closed or the connection attempt fails.
channel.getCloseFuture().addListener(new ChannelFutureListener() {
    @Override
    public void operationComplete(ChannelFuture future) throws Exception {
        new Thread(new Runnable() {
            public void run() {
                // Shut down thread pools to exit
                // (cannot be executed in the same thread pool!
                bootstrap.releaseExternalResources();

                LOG.log(Level.INFO, "Shutting down");
            }
        }).start();
    }
});

所以，基本上，我只保留对 bootstrap 和 channel 的引用，但是前者在这些代码行之外几乎不使用。

注意：当应用程序退出时，您应该只执行一次bootstrap.releaseExternalResources();。就我而言，客户端发送一些文件，然后关闭通道并退出。

一旦您拥有一个已连接的 Channel 实例，您只需使用该实例即可，直到您再次将其关闭为止。关闭后，您可以调用 bootstrap 来再次创建新的 Channel。

就我个人而言，我觉得 Netty 一开始有点难以理解，但是一旦你掌握了它的工作原理，它就是 Java 中最好的 NIO 框架。国际海事组织。

Answer 2

Netty 是在 JVM 中编写高并发 HTTP 服务的最佳方法，但它非常复杂且难以直接互操作，特别是在使用 Clojure 时。看一下 Donkey，它提供与 Vert.x 的互操作，Vert.x 使用 Netty 作为后端。这种分层抽象了许多细微的低级细节，如果处理不当，可能会导致服务不稳定。 Donkey 相对较新，因此还没有很多关于它的文档。查看这个博客，其中包含一个实现基本新闻提要的开源项目Clojure 中使用 Donkey 的微服务。它详细介绍了架构、设计、编码和负载下的性能。