模拟提交 form post提交中文问题。

今天使用webmagic模拟post请求，但是中文参数被编码后不正确。 Content-Type=application/x-www-form-urlencoded charset=UTF-8 后来发现在重写selec…

用WebMagic获取js中的数据

当WebMagic爬取页面时，可以根据html结构，利用匹配表达式获取想要的数据，比如某个标签下的链接。 但是，问题来了。如果该html页面将该链接放在js代…

webmagic 如何下载网页中的附件

@黄亿华 你好，想跟你请教个问题：webmagic如何去下载网页中的附件？ …

webmagic 抓取数据在时候遇到非法访问

最近开始尝试做个爬虫，挑了挑，后来选了 webmagic ，从一个网站上也抓下来数据了感觉蛮好。可是换了个网站发现这网站的数据在页面是没有的，都是通过…

webmagic 模拟post提交之后，返回200 但是返回数据不对

我在用webmagic模拟post请求查询页面时，虽然返回了200的statusCode，但是返回的页面确实整个页面，并不是post之后的页面，请问是什么情况啊？ 有没…

Webmagic抓取页面中列表数据

@黄亿华 你好，想跟你请教个问题： http://www.xinnong.com/hangqing/market/20595/&nbsp 我在测试抓取时，不知道怎么逐行抓取table中的信息。 日期…

存储数据及下载图片怎么办

@黄亿华 你好，想跟你请教个问题：我在做汽车信息的抓取，请问图片怎么办 是自己下载还是通过webmagic的组件完成？另外我想要把数据存进数据库有没有…

webmagic有解析<table>的方法么，返回 table中所有tr和td 的值？？

@黄亿华 你好，想跟你请教个问题：webmagic有解析&lttable&gt的方法么，返回 table中所有tr和td 的值？？ xpath怎么获取&lttd&gt的文本呢？有的td里…

myeclipse安装webmagic引入经典案例提示报错

Multiple markers at this line - The method getSite() of type GithubRepoPageProcessor must override a superclass&nbsp method - implements us.…

NetBeans怎么关掉这个方法引用不明确的错误提示？

@黄亿华 你好，请问怎么关掉这个错误提示啊： …

如何对爬取对象取重？

如何对爬取对象取重？ 每次启动爬虫，都会从目标页上抓取链接，怎样保证每次只抓取最新的链接，也就是不要重复抓取呢？ …

webmagic获取页面链接的问题

如何获取某个地址下 html结尾的文件,如http://a.abc.com/info 这个目录下有很多html结尾的链接，用下面的方式怎么取不到？ List&ltString&gt links =…

page.getHtml().regex()正则问题

@黄亿华 你好，想跟你请教个问题： 我使用的零宽断言正则：(?&lt=xxx:").*?js，如匹配：xxx:"https://abc.com/a.js" 在RegexSelector 31处，对regexS…

webmagic 如何实现我的这个需求

@黄亿华 我有一个文本，每行一个url，如何用webmagic多线程抓取． 并且每个url抓到的结果仅仅是一个String 的键值对，比如这样： ＝＝＝＝＝＝＝＝＝…

您好，我运行example中的GithubRepoPageProcessor，JsonFilePipeline报错是什么问题