Webmagic使用Selenium中的HtmlUnitDriver

发布于 2021-11-28 05:34:16 字数 1178 浏览 811 评论 1

@黄亿华 你好,想跟你请教个问题:最近在使用webmagic的时候,想添加selenium中的htmlunitDriver,作为一个downloader。当htmlunitDriver初始化为htmlunitDriver()时,没有问题,可以一直下载。但是初始化为htmlunitDriver(true)(设置js开启)时,下载完第一个页面,程序就停止了,不知道怎么回事

public class HtmlUnitSimpleDownloader extends AbstractDownloader{


private int poolsize;

private static HtmlUnitDriver dirver= new HtmlUnitDriver(true);
@Override
public Page download(Request request, Task task) {
// TODO Auto-generated method stub

WebDriver webDriver=dirver;
webDriver.get(request.getUrl());

String content = webDriver.getPageSource();
Page page = new Page();
page.setRawText(content);
page.setHtml(new Html(UrlUtils.fixAllRelativeHrefs(content,
request.getUrl())));

page.setUrl(new PlainText(request.getUrl()));
page.setRequest(request);
return page;
}


@Override
public void setThread(int threadNum) {
// TODO Auto-generated method stub
this.poolsize=threadNum;
}


}




如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

少女净妖师 2021-12-01 02:08:56

老师我发现了,是htmlunitdriver的原因,在解析某些js时会报错

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文