在java中使用多个IP进行抓取

Question

基本上我有一个抓取应用程序。 它每分钟抓取大约 n 个项目。 目前我只有一个IP。

我正在抓取的网站允许每个 IP 有 3 个连接。

我正在考虑获得另一个IP。

这样我就可以获得 6 个连接。

理论上我应该能够在 40 秒内获得 n 件物品，或多或少。

目前我正在使用 java (commons-httpcore) 来完成工作。

我不确定这是java问题还是操作系统问题。

我的机器有IP 1和IP 2 我如何连接到 www.microsoft.com， 使用IP 1 和使用IP2？ 我如何指定我想使用哪个 IP 进行连接？

Answer 1

// requires HttpComponents Client 4.*
DefaultHttpClient httpclient = new DefaultHttpClient();
httpclient.getParams().setParameter(
  ConnRoutePNames.LOCAL_ADDRESS, 
  InetAddress.getByName("10.10.10.10")
);

请参阅： http://hc.apache.org/httpcomponents-client/ httpclient/apidocs/index.html