Webmagic使用Selenium中的HtmlUnitDriver
@黄亿华 你好,想跟你请教个问题:最近在使用webmagic的时候,想添加selenium中的htmlunitDriver,作为一个downloader。当htmlunitDriver初始化为htmlunitDriver()时,没有问题,可以一直下载。但是初始化为htmlunitDriver(true)(设置js开启)时,下载完第一个页面,程序就停止了,不知道怎么回事
public class HtmlUnitSimpleDownloader extends AbstractDownloader{
private int poolsize;
private static HtmlUnitDriver dirver= new HtmlUnitDriver(true);
@Override
public Page download(Request request, Task task) {
// TODO Auto-generated method stub
WebDriver webDriver=dirver;
webDriver.get(request.getUrl());
String content = webDriver.getPageSource();
Page page = new Page();
page.setRawText(content);
page.setHtml(new Html(UrlUtils.fixAllRelativeHrefs(content,
request.getUrl())));
page.setUrl(new PlainText(request.getUrl()));
page.setRequest(request);
return page;
}
@Override
public void setThread(int threadNum) {
// TODO Auto-generated method stub
this.poolsize=threadNum;
}
}
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
老师我发现了,是htmlunitdriver的原因,在解析某些js时会报错