对于许多并发的 http 请求，是否有一个好的线程模型？

Question

我的 .Net 和 Java 应用程序需要向 Web 服务同时发出许多请求，这需要很长的时间才能回复。因此，任何时候都可能有数千个未完成的 HTTP 请求。为了实现这一点，我可以让单个线程生成许多异步 HTTP 请求并处理响应，但我想了解任何允许发出同步 HTTP 请求而不需要使用数千个线程（因为相关的资源成本）的替代方案。任何解决方案都必须避免线程因等待 HTTP 响应而被阻塞。

我的问题有两个部分：

1）线程池可以用来做到这一点吗？我知道我可以将我的作业放入线程池队列中，并且线程池将在能够处理它们时处理它们，但是线程池工作线程可以避免被阻塞等待 http 响应吗？他们可以在等待期间去处理其他工作吗？

2）是否有其他方法可以实现这一点，同时保留 HTTP 同步 API 调用的简单性。

问候

Answer 1

可以使用线程池来做到这一点吗？

就他们自己而言，不。

是否有其他方法可以实现此目的，同时保留 HTTP 同步 API 调用的简单性。

您是在谈论客户端 HTTP 调用 API 吗？如果是这样，有一种方法可以做到这一点，即使用异步服务器端实现。

• Servlet 3.0规范支持异步请求处理：阅读这个Javaworld文章。
• 阅读 Fast NIO，适用于 Java 的异步 HTTP 服务器 的答案。

Answer 2

任务不会产生额外的线程，因此您可以节省性能损失，并且它们不会阻塞调用线程，因此我相信这将满足这两个需求。

string[] urls = GetUrls();
var requests = new Dictionary<string, Task<string>>()
var responses = new Dictionary<string, string>();

// send off each request and store the on-going task in a dictionary
foreach (string url in urls)
    requests.Add(url, Task.Factory.StarNew(() => return WebClient.DownloadString(url))

// get the results asynchronously
Task.Factory.StartNew(() => {
    foreach (var request in requests)
        responses.Add(request.key, request.Result)
 }

现在，当您收到回复时，您可以通过多种方式进行操作。上面就会一一得到每个任务的结果。当您调用 result 时，它将等待任务完成，从而阻塞调用方法，并且如果任务发生故障，则会在此时抛出异常。您还可以使用 Task.WaitAll(); 一次等待整个批次。由于调用 .Result 会阻塞调用方法，因此您还必须从任务内部检索结果。

该示例假设您发送 HTTP-GET 并希望结果为字符串，但无论您想要哪种 HTTP 方法或结果，您进行调用和获取结果的方式都是相同的。您还需要添加异常处理来捕获可能引发的任何异常。您可以在此处准备有关任务异常处理的信息。