利用FileCacheQueueScheduler后抓取结束进程却无法自动停止
使用wemgaic框架进行爬取页面数据时,利用FileCacheQueueScheduler进行的增量爬取，但是在爬取结束后（需要爬取的数据，都已经记录在urls.txt和cursor.…
webmagic的xpath中last()函数无法使用？
使用爬虫的时候，执行以下语句： page.getHtml().xpath("//div[@id='pager']/a[last()]").links().all() 报错如下： org.jsoup.select.Selector$Sele…
爬虫爬目标网站出现512错误怎么解决?
1.问题 昨天爬好好的,然后开了五个线程果断被封IP, 今天继续爬,没有封IP,但是爬不了,直接报错512错误 2.错误信息 [WARN][2016-05-13 11:40:20,977][u…
利用FileCacheQueueScheduler后抓取结束进程却无法自动停止
@黄亿华 你好，想跟你请教个问题：我在抓取网页的时候利用了FileCacheQueueScheduler，运行后发现网页已经抓取完毕，jconsole中也表示线程状态为stop…
如何停止webmagic的链接管理的去重
我在抓取的软件是这样的，url只有一个，但是每次通过post请求设置不同的参数值来获取不同的内容，但是因为Scheduler的去重使得post请求只进行了一次…
webmagic Java 爬虫怎么能够在第二次之后爬取发布时间最新的链接的信息
webmagic Java 爬虫怎么能够在第二次之后爬取发布时间最新的链接的信息？ 获取到时间了，但是链接怎么判断了再加进去？ 初始网址如图，想从具体网页中…
关于webmagic的xpath选取多个节点的问题
@黄亿华 你好，想跟你请教个问题： 在这个网站：http://www.huxiu.com/article/130810/1.html?f=index_top1 中，就是例子中的虎嗅网抓取，我根据现在…
Java webMagic 如何爬取知乎回答？
用webmagic抓取知乎某个问题下的所有回答时候，每次只能获取前两条回答。 查了各种博客，试了各种方法，总是只返回2条回答，或者直接401。 o.a.h.impl…
