Jsoup SocketTimeoutException：读取超时

Question

当我尝试使用 Jsoup 解析大量 HTML 文档时，出现 SocketTimeoutException。

例如，我得到了一个链接列表：

<a href="www.domain.com/url1.html">link1</a>
<a href="www.domain.com/url2.html">link2</a>
<a href="www.domain.com/url3.html">link3</a>
<a href="www.domain.com/url4.html">link4</a>

对于每个链接，我解析链接到 URL（来自 href 属性）的文档，以获取这些页面中的其他信息。

所以我可以想象这需要很多时间，但是如何关闭这个异常这是整个堆栈跟踪：

java.net.SocketTimeoutException: Read timed out
    at java.net.SocketInputStream.socketRead0(Native Method)
    at java.net.SocketInputStream.read(Unknown Source)
    at java.io.BufferedInputStream.fill(Unknown Source)
    at java.io.BufferedInputStream.read1(Unknown Source)
    at java.io.BufferedInputStream.read(Unknown Source)
    at sun.net.www.http.HttpClient.parseHTTPHeader(Unknown Source)
    at sun.net.www.http.HttpClient.parseHTTP(Unknown Source)
    at sun.net.www.protocol.http.HttpURLConnection.getInputStream(Unknown Source)
    at java.net.HttpURLConnection.getResponseCode(Unknown Source)
    at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:381)
    at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:364)
    at org.jsoup.helper.HttpConnection.execute(HttpConnection.java:143)
    at org.jsoup.helper.HttpConnection.get(HttpConnection.java:132)
    at app.ForumCrawler.crawl(ForumCrawler.java:50)
    at Main.main(Main.java:15)

Answer 1

这应该有效：
Jsoup.connect(url.toLowerCase()).timeout(0);。

Answer 2

设置从 jsoup 连接时的超时。

Answer 3

我认为你可以将

Jsoup.connect("...").timeout(10 * 1000).get(); 

超时设置为 10 秒。

Answer 4

好的 - 所以，我试图将此作为对 MarcoS 答案的编辑，但编辑被拒绝。尽管如此，以下信息可能对未来的访问者有用：

根据 javadocs，默认超时 org.jsoup.Connection 为 30 秒。

正如已经提到的，这可以使用 timeout(int millis) 设置。

此外，正如编辑中的 OP 注释，这也可以使用 timeout(0) 设置。然而，正如 javadoc 所说：

超时为零被视为无限超时。

Answer 5

我遇到了同样的错误：

java.net.SocketTimeoutException: Read timed out
    at java.net.SocketInputStream.socketRead0(Native Method)
    at java.net.SocketInputStream.socketRead(SocketInputStream.java:116)
    at java.net.SocketInputStream.read(SocketInputStream.java:171)
    at java.net.SocketInputStream.read(SocketInputStream.java:141)

并且只有设置 .userAgent(Opera) 对我有用。

所以我使用了 Connection userAgent(String userAgent)< /a> Connection 类的方法来设置 Jsoup 用户代理。

像这样的东西：

Jsoup.connect("link").userAgent("Opera").get();

Answer 6

https://jsoup.org/apidocs/org/jsoup/Connection 上有错误。 html。
默认超时不是 30 秒。是3秒。
看看代码中的javadoc就可以了。它说 3000 毫秒。