WebMagic 爬虫怕您github粉丝的名字
@黄亿华 你好,想跟你请教个问题:我在用Webmagic 爬虫在爬你的粉丝的名字出现了一个问题。就是我只能爬到一个粉丝的名字,然后就结束了。以下是我的代码:
public class GithubSpider implements PageProcessor {
private Site site = Site.me().setRetryTimes(3).setSleepTime(1000);
@Override
public void process(Page page) {
page.putField("author", page.getHtml().xpath("//h3[@class='follow-list-name']/span/a/text()").toString());
}
@Override
public Site getSite() {
return this.site;
}
public static void main(String[] args) {
Spider.create(new GithubSpider())
//从"https://github.com/code4craft/followers"开始抓
.addUrl("https://github.com/code4craft/followers")
//输出到控制台
.addPipeline(new ConsolePipeline())
//开启5个线程抓取
.thread(5)
//启动爬虫
.run();
}
}
我就是想单纯爬去你的粉丝的名字,但是这边却出现问题,望指点一下。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
最后一句是.start()吧