Question

从 0.7.1 版本开始，WebMagic 开始使用了新的代理 API ProxyProvider 。因为相对于 Site 的“配置”，ProxyProvider 定位更多是一个“组件”，所以代理不再从 Site 设置，而是由 HttpClientDownloader 设置。

API	说明
HttpClientDownloader.setProxyProvider(ProxyProvider proxyProvider)	设置代理

ProxyProvider 有一个默认实现： SimpleProxyProvider 。它是一个基于简单 Round-Robin 的、没有失败检查的 ProxyProvider。可以配置任意个候选代理，每次会按顺序挑选一个代理使用。它适合用在自己搭建的比较稳定的代理的场景。

代理示例：

设置单一的普通 HTTP 代理为 101.101.101.101 的 8888 端口，并设置密码为 "username","password" ​

    HttpClientDownloader httpClientDownloader = new HttpClientDownloader();
    httpClientDownloader.setProxyProvider(SimpleProxyProvider.from(new Proxy("101.101.101.101",8888,"username","password")));
    spider.setDownloader(httpClientDownloader);

设置代理池，其中包括 101.101.101.101 和 102.102.102.102 两个 IP，没有密码

    HttpClientDownloader httpClientDownloader = new HttpClientDownloader();
    httpClientDownloader.setProxyProvider(SimpleProxyProvider.from(
    new Proxy("101.101.101.101",8888)
    ,new Proxy("102.102.102.102",8888)));

如果对于代理部分有建议的，欢迎参与讨论 #579 更多的代理 ProxyProvider 实现