webmagic java爬虫使用selenium模拟浏览器登录打开页面，传值到page在process赋值到文件在循环里失效
直接输出内容，可以全部输出，放入page.putField里只能获取到最后一个。 page里放了所有需要的内容。在process里用数组分开了。 …
webmagic java使用selenium模拟打开翻页网页时，是获取什么内容，直接把url在string拼接打不开
模拟打开了翻页，不知道要获取什么，把url拼接在一个html形式里，但process里没有内容。在SeleniumDownloader基础上进行修改PAGE部分。 …
使用selenium+java模拟登陆今日头条时需要手机验证码登陆，第二次怎么免输入信息登陆？
在使用selenium爬取今日头条时，想登陆之后爬取个人收藏内容。 第一次是通过手机验证码登进去，需要多次登陆，第二次如何可以不登陆，直接就爬取信息…
webmagic的example运行失败
我在eclipse中建立工程后将webmagic/lib中的除webmagic-core和webmagic-extension外的jar包导入工程,又将webmagic/webmagic-core/src/main/us和webma…
用eclipse跑webmagic抓取网页例子无任何输出？
eclipse跑的就是如下的例子，但是控制台没输出，这个是咋回事了，无论运行还是debug模式？新手不太懂。 控制台输出： log4j:WARN No appenders could …
网络爬虫，java语言写的，爬不到正确的网页源码，百思不得其解，不知问题症结在哪里？求助爬虫前辈们
@黄亿华 你好，想跟你请教个问题： 有幸发现了这个网站，拜读了大神们关于网络爬虫的博客，受益良多。 作为爬虫方面的小白，眼下我也正在开展爬虫的…
webmagic 可以在PageProcessor 的process方法中控制停止？
@黄亿华 你好，想跟你请教个问题：Spider 是不是不会在 page.getTargetRequests()为空的时候自动停下来的？？如果不会停的话，能不能在 PageProcessor…
有关Selenium做爬虫方式的资源消耗的问题
@黄亿华 你好，想跟你请教个问题： 我们采用了selenium的webdriver作为引擎，进行网页数据的抓取、以及后续的解析、数据持久化。webdriver采用chrome…
webmagic java爬虫获取网页中的超链接时，超链接的地址是不完整的，怎么能获得超链接的完整地址？
如图所示，下获取初始页面的这些超链接中的内容，获取的链接都是  ?p=1  这种， 隐藏的地址怎么加上？…
