如何在java中使用Http、Socks4和Socks5代理？

Question

我想对网站进行屏幕抓取，为此我想使用 Http、Socks4 和 Sock5 代理。所以我的问题如下：

1. 是否可以通过 Java 使用这些代理而不使用任何其他外部 API？例如，是否可以通过 发送请求HttpURLConnection 通过这些代理？

2. 如果不可能，那么我还可以使用哪些其他外部 API？

3. 我使用 HtmlUnit 提供的无头浏览器来完成此操作，但即使加载简单的网页也需要时间，那么您能否建议我提供其他可快速加载网页的无头浏览器 API（如果有）。我不想打开包含大量 AJAX 或 Javascript 代码的网页。我只需要通过无头浏览器单击表单按钮。

Answer 1

是否可以通过 Java 使用这些代理而不使用任何其他外部 API？例如，是否可以通过这些代理通过 HttpURLConnection 发送请求？

是的，您可以通过使用（全局）系统属性或使用 Proxy 类，或使用 ProxySelector。后面的两个选项从 Java 5 开始就可用，并且更加灵活。查看 Java 网络和代理正如 jarnbjo 所提到的所有细节。

我使用 HtmlUnit 提供的无头浏览器来完成此操作，但即使加载简单的网页也需要时间，因此您能否建议我提供其他可快速加载网页的无头浏览器的 API（如果有）。我不想打开包含大量 AJAX 或 Javascript 代码的网页。我只需通过无头浏览器单击表单按钮即可。

不幸的是，我能想到的第一个替代方案是基于 HtmlUnit 的（例如 JWebUnit 或 WebTest）或更慢（Selenium、WebDriver - 您可以在无头模式下运行）。但如果您不需要高级 JavaScript 支持，也许您可​​以尝试 HttpUnit 。

Answer 2

是的，这是可能的。您可以在此处找到不同网络代理的配置选项< /a>.

Answer 3

您可以设置每个连接代理。以下是 Java 11 HttpClient 和旧版 HttpURLConnection 的示例：

public static void java11Http(String url) throws Exception {
    ProxySelector proxySelector = new ProxySelector() {
        @Override
        public List<Proxy> select(URI uri) {
            return List.of(new Proxy(Proxy.Type.SOCKS, new InetSocketAddress("127.0.0.1", 1234)));
        }
        @Override
        public void connectFailed(URI uri, SocketAddress sa, IOException ioe) {
            ioe.printStackTrace();
        }
    };

    HttpClient client = HttpClient.newBuilder()
            .proxy(proxySelector)
            .build();
    HttpRequest request = HttpRequest.newBuilder()
            .uri(URI.create(url))
            .build();

    HttpResponse<String> response = client.send(request, HttpResponse.BodyHandlers.ofString());
    System.out.println(response.body());
}

private static void legacyJavaHttp(String url) {
    SocketAddress proxyAddr = new InetSocketAddress("127.0.0.1", 1234);
    Proxy pr = new Proxy(Proxy.Type.SOCKS, proxyAddr);

    try {
        HttpURLConnection con = (HttpURLConnection) URI.create(url).toURL().openConnection(pr);
        con.setConnectTimeout(5000);
        con.setReadTimeout(5000);
        con.connect();
        System.out.println(con.getResponseMessage());
    } catch (IOException ex) {
        ex.printStackTrace();
    }
}

您可以使用 SOCKS 或 HTTP 代理。

您可以在此处阅读有关 Java 代理的更多信息：https:// /docs.oracle.com/javase/8/docs/technotes/guides/net/proxies.html