WebMagic怎么限制请求速度？
WebMagic爬取github时报code error 429，查了下http状态码 429 Too Many Requests (太多请求)了，需要限制请求速度，请问怎么限制请求速度？…
webmagic网络爬虫将爬取到的内容保存到本地文件夹，怎么把本地文件夹路径存到数据库中
使用webmagic爬取数据，将网页标题，作者，评论数，点赞数等存储到数据库中， 将网页具体内容存储到本地文件夹，通过 Spider.create(new StoreXXPage(…
webmagic java爬虫使用selenium模拟谷歌浏览器，获取了翻页的每页的网址链接传到process，运行时为什么还会打开每页的网址？
如图，已经获取到想爬取的网址信息，在process那边也获取的到。 但是addTargetRequests这些网址，就会又打开了，怎么能不打开这些单个的网址了？ …
webmagic中的xpath问题
@黄亿华 你好，想跟你请教个问题： 在使用xpath类似   //div[@class='biaoge']/table/tr[1] 这种时会出现 java.lang.NoSuchMethodError: org.jso…
webmagic使用官方例子GithubRepoPageProcessor报错
代码是用http://webmagic.io/docs/zh/posts/ch4-basic-page-processor/pageprocessor.html这个链接的里面的代码。 依赖包 <dependency> <groupI…
spring注入为null
最近在学习爬虫，找到了webmagic和crawler4j这两个开源项目，但是在webmagic的pipeline里面和crawler4j的visit里面使用了一个用@autowired注入的一个…
WebMagic 断点续爬 有没有什么更好的方案啊？
@黄亿华 你好，想跟你请教个问题：WebMagic 断点续爬 有没有什么更好的方案啊？ 我目前采用的方式就是：对所有已经采集的地址进行标识，判断是否采集…
设置了user agent，怎么返回的html还是web版本的？
@黄亿华 你好，想跟你请教个问题： 想爬一下http://www.gov.cn/zhengce/zc_bm.htm云适配版本的网页，设置了user agent，但是爬回来的html还是web版本…
webmagic request设置POST方法报NullPointerException!
public class MaxSpider implements PageProcessor { private static Site site=Site.me() static{ site.setCharset("UTF-8") site.addHeader("User-A…
