对抓取失败的url保存起来，延迟抓取
使用spider 抓取页面时，有时候，页面访问会失败（或运行异常），但这个流程是一个整体，必须把抓取失败的页面保存在一个delayQueueSchedualer 里面…
div[contains(@class, 'iphone-screen-shots')] 这种语法不支持，要用什么来代替呢
@黄亿华 你好，想跟你请教个问题：div[contains(@class , 'iphone-screen-shots')] 这种语法不支持，要用什么来代替呢 …
webmagic怎样识别网页编码
@黄亿华 你好，想跟你请教个问题： webmagic中,HttpClientDownloader里 if (charset == null) { String value =httpResponse.getEntity().getContent…
webmagic spider.run() ;后怎么终止
@黄亿华 ，你好！ Spider.create(new DemoPageProcessor()).run(); //我只想让他运行几秒中，怎么终止 …
webmagic 如何整合mongodb
webmagic 如何整合mongodb? 使用的框架是 morphia + mvc 网上查询了 网上的一些题目 和 自己本地尝试，仍不成功。 望大神可以指点指点~ 本人参考过 …
webmagic抓取离散形式的很多网页
@黄亿华 你好，想跟你请教个问题： 我用webmagic抓取股票数据，类似 http://finance.sina.com.cn/realstock/company/sz000622/nc.shtml 每一个地址中…
webmagic里的一个小问题
@黄亿华 你好，想跟你请教个问题： 在webmagic的父pom里，你定义了它的继承关系 org.sonatype.oss oss-parent 7 这个继承，有什么用吗？好像是官方的…
为什么page.getHtml().xpath返回的是Selectable而不是节点列表？想获取节点怎么办啊？
为什么page.getHtml().xpath返回的是Selectable而不是节点列表？想获取节点怎么办啊？…
webmagic 使用
@黄亿华 你好，想跟你请教个问题： 我用webmagic 下载 http://cctv.cntv.cn/lm/xinwenlianbo/20130201.shtml page.putField("title", page.getHtml()…
