如何保持多个 Java HttpConnections 对同一目的地开放

Question

我们经常使用 HttpURLConnection API 向同一提供者调用 REST API（一种聚合用例）。我们希望保持 5 个连接池始终对提供商主机开放（始终相同的 IP）。

正确的解决方案是什么？这是我们尝试过的：

System.setProperty("http.maxConnections", 5);  // set globally only once
...
// everytime we need a connection, we use the following
HttpURLConnection conn = (HttpURLConnection) (new URL(url)).openConnection();
conn.setRequestMethod("GET");
conn.setDoInput(true);
conn.setDoOutput(false);
conn.setUseCaches(true);
...
BufferedReader reader = new BufferedReader(new InputStreamReader(conn.getInputStream()));
...

此时我们读取输入流，直到 BufferedReader 不再返回字节。如果我们想重用与提供者的底层连接，那么在那之后我们该怎么办？我们的印象是，如果输入流被完全读取，连接就会被添加回池中。

它已经以这种方式工作了几个星期，但今天它停止工作并产生此异常： java.net.SocketException: Too much open files

我们发现许多套接字处于 CLOSE_WAIT 状态，如下所示（通过运行 >lsof): java 1814 root 97u IPv6 844702 TCP colinux:58517->123.123.254.205:www (CLOSE_WAIT)

conn.getInputStream().close() 或 conn.disconnect() 都不会完全关闭连接并将其从池中删除？

Answer 1

我们在 Java 5 上也遇到了这个问题，我们的解决方案是切换到带有池连接管理器的 Apache HttpClient。

Sun 的 HTTP URL 处理程序的 keepalive 实现有很多错误。没有维护线程来关闭空闲连接。

keepalive 的另一个更大的问题是你需要删除响应。否则，该连接也将被孤立。大多数人没有正确处理错误流。请参阅我对此问题的回答，了解有关如何正确读取错误响应的示例，

HttpURLConnection.getResponseCode() 在第二次调用时返回 -1

Answer 2

来自此处：

当前实现不缓冲响应正文。这意味着应用程序必须完成读取响应正文或调用 close() 放弃响应正文的其余部分，以便重用该连接。此外，当前的实现在清理连接时不会尝试块读取，这意味着如果整个响应正文不可用，则不会重用该连接。

我读到这篇文章就好像您的解决方案应该有效，但您也可以自由调用 close 并且连接仍将被重用。

Answer 3

disown 引用的 参考 是真正有帮助的是什么。

我们知道 Apache HttpClient 更好，但这需要另一个 jar，并且我们可能会在小程序中使用此代码。

调用 HttpURLConnection.connect() 是不必要的。我不确定它是否会阻止连接重用，但我们将其删除了。关闭流是安全的，但在连接上调用 disconnect() 将阻止重用。此外，设置 sun.net.http.errorstream.enableBuffering=true 也有帮助。

这是我们最终使用的：

System.setProperty("http.maxConnections", String.valueOf(CONST.CONNECTION_LIMIT));
System.setProperty("sun.net.http.errorstream.enableBuffering", "true");

...

int responseCode = -1;
HttpURLConnection conn = null;
BufferedReader reader = null;
try {
 conn = (HttpURLConnection) (new URL(url)).openConnection();
 conn.setRequestProperty("Accept-Encoding", "gzip");

 // this blocks until the connection responds
 InputStream in = new GZIPInputStream(conn.getInputStream());

 reader = new BufferedReader(new InputStreamReader(in));
 StringBuffer sb = new StringBuffer();
 char[] buff = new char[CONST.HTTP_BUFFER_SIZE];
 int cnt;

 while((cnt = reader.read(buff)) > 0) sb.append(buff, 0, cnt);

 reader.close();

 responseCode = conn.getResponseCode();
 if(responseCode != HttpURLConnection.HTTP_OK) throw new IOException("abnormal HTTP response code:"+responseCode);

 return sb.toString();

} catch(IOException e) {
    // consume error stream, otherwise, connection won't be reused
    if(conn != null) {
     try {
         InputStream in = ((HttpURLConnection)conn).getErrorStream();
         in.close();
         if(reader != null) reader.close();
     } catch(IOException ex) {
         log.fine(ex);
     }
    }

    // log exception    
    String rc = (responseCode == -1) ? "unknown" : ""+responseCode;
    log.severe("Error for HttpUtil.httpGet("+url+")\nServer returned an HTTP response code of '"+rc+"'");
    log.severe(e);
}