是否可以仅使用一个线程打开到多个站点的多个连接？

Question

更新

我已经使用了FixedThreadPool。发生的情况是每个线程为一个站点打开一个连接。我想做的是异步的事情。

1. 向服务器发送请求
2. 无需等待第一个请求完成即可转到下一个请求
3. 建立请求后，执行一些操作，通知另一个线程连接已建立并准备好下载。

我认为这将加快执行速度，因为将使用更少的线程来打开与当前性能相同或更多的连接。

在当前方式中，每个线程等待一段时间，无需等待连接建立。通过这种新方式，它将始终有效。

---

问题

我想知道是否有一种方法可以仅用一个线程打开与多个站点的连接。

这是因为我正在做一个网络爬虫，我已经做了一个线程来打开一个连接，但是在一定数量的线程之后，这将无济于事，因为处理器共享会增加很多。

我希望这可以加快下载的页面数量。可以这样做吗？如何？

此代码打开连接并进行一些处理。它由打开连接的线程执行

/*
 * Open connection to a server
 */
boolean openConnection(Link link) throws Exception {
    //set the connection paramenters
    HttpURLConnection conn = (HttpURLConnection) new URL(link.getOriginalURL().getURL()).openConnection();
    conn.setRequestProperty("User-Agent", ROBOT_NAME);
    conn.setInstanceFollowRedirects(true);
    conn.setConnectTimeout(READ_TIMEOUT);
    conn.setReadTimeout(READ_TIMEOUT);
    link.setConnection(conn);
    //open the connection
    conn.connect();        
    //check the server answer
    if (conn.getResponseCode() != HttpURLConnection.HTTP_OK) {
        return false;
    }
    //analyse the URL of the redirected URL
    urlAnalyzer.fillURL(link.getRedirectedURL(), getRedirectedURL(link.getConnection()));
    return true;
}

这将执行连接打开器，每个连接打开器都在一个线程中

/*
 * Start the execution of the connection openers     
 */
private void executeConnectionOpeners() {
    LOGGER.info("Starting connection openners.");
    /* Execution */
    NameThreadFactory ntf = new NameThreadFactory("Connection Opener");
    crawlerOpenerExecutor = Executors.newFixedThreadPool(nOpeners, ntf);
    for (int i = 0; i < nOpeners; i++) {
        crawlerOpenerExecutor.submit(new ConnectionOpener(this));
    }
    /* End of execution */
    LOGGER.info(nOpeners + " connection openers created and running.");
}

Answer 1

获取网页并不是一项特别占用处理器资源的工作：您将花费几乎所有时间等待网络，除非您从非常快的本地连接获取大量小页面。

当然，您应该通过基准测试来查看有多少线程实际上值得使用 - 您可能希望有一组固定的线程在共享生产者/消费者队列上工作。 （您不想为每个请求创建一个真正的新线程。）

现在，如果您可以异步执行获取（可能使用 NIO），那么应该可能只使用很少的线程，但我我会亲自检查“单独线程”方法是否实际上首先最大化您的CPU。它可能会使代码比使用异步简单得多，并且如果瓶颈确实是网络，那么您最终将得到难以维护的代码，而几乎没有（如果有的话）好处。

Answer 2

看看您是否喜欢 Java 7 的 AsynchronousSocketChannel。基本上，您发出读取请求，当字节可用时，它会调用您的回调。当然，回调必须在某个线程上调用；您有一些选项来配置线程策略。

Answer 3

我使用 xlightweb 来实现类似的目的，即异步 HTTP。