Webmagic使用Selenium中的HtmlUnitDriver

Question

@黄亿华 你好，想跟你请教个问题：最近在使用webmagic的时候，想添加selenium中的htmlunitDriver，作为一个downloader。当htmlunitDriver初始化为htmlunitDriver（）时，没有问题，可以一直下载。但是初始化为htmlunitDriver（true）(设置js开启)时，下载完第一个页面，程序就停止了，不知道怎么回事

public class HtmlUnitSimpleDownloader extends AbstractDownloader{


private int poolsize;

private static HtmlUnitDriver dirver= new HtmlUnitDriver(true);
@Override
public Page download(Request request, Task task) {
// TODO Auto-generated method stub

WebDriver webDriver=dirver;
webDriver.get(request.getUrl());

String content = webDriver.getPageSource();
Page page = new Page();
page.setRawText(content);
page.setHtml(new Html(UrlUtils.fixAllRelativeHrefs(content,
request.getUrl())));

page.setUrl(new PlainText(request.getUrl()));
page.setRequest(request);
return page;
}


@Override
public void setThread(int threadNum) {
// TODO Auto-generated method stub
this.poolsize=threadNum;
}


}

Answer 1

老师我发现了，是htmlunitdriver的原因，在解析某些js时会报错