HTTPURLConnection 不遵循从 HTTP 到 HTTPS 的重定向

Question

我不明白为什么 Java 的 HttpURLConnection 不遵循从 HTTP 到 HTTPS URL 的 HTTP 重定向。我使用以下代码获取 https://httpstat.us/ 处的页面：

import java.net.URL;
import java.net.HttpURLConnection;
import java.io.InputStream;

public class Tester {

    public static void main(String argv[]) throws Exception{
        InputStream is = null;

        try {
            String httpUrl = "http://httpstat.us/301";
            URL resourceUrl = new URL(httpUrl);
            HttpURLConnection conn = (HttpURLConnection)resourceUrl.openConnection();
            conn.setConnectTimeout(15000);
            conn.setReadTimeout(15000);
            conn.connect();
            is = conn.getInputStream();
            System.out.println("Original URL: "+httpUrl);
            System.out.println("Connected to: "+conn.getURL());
            System.out.println("HTTP response code received: "+conn.getResponseCode());
            System.out.println("HTTP response message received: "+conn.getResponseMessage());
       } finally {
            if (is != null) is.close();
        }
    }
}

该程序的输出是：

Original URL: http://httpstat.us/301
Connected to: http://httpstat.us/301
HTTP response code received: 301
HTTP response message received: Moved Permanently

对 http://httpstat.us/301 的请求返回以下（缩短的）响应（这看起来绝对正确！ ):

HTTP/1.1 301 Moved Permanently
Cache-Control: private
Content-Length: 21
Content-Type: text/plain; charset=utf-8
Location: https://httpstat.us

不幸的是，Java 的 HttpURLConnection 不遵循重定向！

请注意，如果将原始 URL 更改为 HTTPS (https://httpstat.us/301)，Java 将按预期遵循重定向！？

Answer 1

仅当它们使用相同的协议时才会遵循重定向。 （参见源代码中的 followRedirect() 方法。）无法禁用此检查。

尽管我们知道它镜像 HTTP，但从 HTTP 协议的角度来看，HTTPS 只是其他一些完全不同的未知协议。在未经用户批准的情况下遵循重定向是不安全的。

例如，假设应用程序设置为自动执行客户端身份验证。用户希望匿名冲浪，因为他使用的是 HTTP。但是，如果他的客户端在没有询问的情况下遵循 HTTPS，他的身份就会暴露给服务器。

Answer 2

HttpURLConnection 通过 设计不会自动从 HTTP 重定向到 HTTPS（反之亦然）。遵循重定向可能会产生严重的安全后果。 SSL（因此是 HTTPS）创建用户独有的会话。该会话可以重复用于多个请求。因此，服务器可以跟踪单个人发出的所有请求。这是一种弱身份形式，可以被利用。此外，SSL 握手可以请求客户端的证书。如果发送到服务器，则客户端的身份将被提供给服务器。

正如 erickson 指出的那样，假设应用程序设置为自动执行客户端身份验证。用户希望匿名冲浪，因为他使用的是 HTTP。但是，如果他的客户端在没有询问的情况下遵循 HTTPS，他的身份就会暴露给服务器。

程序员必须采取额外的步骤来确保在从 HTTP 重定向到 HTTPS 之前不会发送凭据、客户端证书或 SSL 会话 ID。默认是发送这些。如果重定向伤害了用户，请不要遵循重定向。这就是不支持自动重定向的原因。

了解了这一点后，下面是遵循重定向的代码。

  URL resourceUrl, base, next;
  Map<String, Integer> visited;
  HttpURLConnection conn;
  String location;
  int times;

  ...
  visited = new HashMap<>();

  while (true)
  {
     times = visited.compute(url, (key, count) -> count == null ? 1 : count + 1);

     if (times > 3)
        throw new IOException("Stuck in redirect loop");

     resourceUrl = new URL(url);
     conn        = (HttpURLConnection) resourceUrl.openConnection();

     conn.setConnectTimeout(15000);
     conn.setReadTimeout(15000);
     conn.setInstanceFollowRedirects(false);   // Make the logic below easier to detect redirections
     conn.setRequestProperty("User-Agent", "Mozilla/5.0...");

     switch (conn.getResponseCode())
     {
        case HttpURLConnection.HTTP_MOVED_PERM:
        case HttpURLConnection.HTTP_MOVED_TEMP:
           location = conn.getHeaderField("Location");
           location = URLDecoder.decode(location, "UTF-8");
           base     = new URL(url);               
           next     = new URL(base, location);  // Deal with relative URLs
           url      = next.toExternalForm();
           continue;
     }

     break;
  }

  is = conn.openStream();
  ...

Answer 3

正如上面提到的， setFollowRedirect 和 setInstanceFollowRedirects 仅当重定向协议相同时才会自动工作。即从 http 到 http 和 https 到 https。

setFolloRedirect 位于类级别，并为 url 连接的所有实例设置此项，而 setInstanceFollowRedirects 仅针对给定实例。这样我们就可以针对不同的实例有不同的行为。

我在这里找到了一个非常好的例子 http://www.mkyong.com /java/java-httpurlconnection-follow-redirect-example/

Answer 4

另一种选择是使用 Apache HttpComponents Client：

<dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpclient</artifactId>
</dependency>

示例代码：

CloseableHttpClient httpclient = HttpClients.createDefault();
HttpGet httpget = new HttpGet("https://media-hearth.cursecdn.com/avatars/330/498/212.png");
CloseableHttpResponse response = httpclient.execute(httpget);
HttpEntity entity = response.getEntity();
InputStream is = entity.getContent();

Answer 5

HTTPUrlConnection 不负责处理对象的响应。它的性能符合预期，它抓取了所请求的 URL 的内容。由您（该功能的用户）来解释响应。如果没有规范，它无法读取开发者的意图。