close_wait 释放

@黄亿华 你好，想跟你请教个问题：您好，我最近在使用您的webmagic爬虫时遇到close_wait问题，我是参照您给的jobhunter样例去爬学校的一些信息。我也…

webmagic 采集ASP.NET分页

@黄亿华 你好，想跟你请教个问题：webmagic 是一个不错的数据采集工具，目前不知道对ASP.NET分页的支持如何？麻烦赐教！ 万分感谢！ …

JMX连接的时候出问题了

调用getErrorPages方法的时候报转换错误，但是在jconsole里看确是正常的。 …

webmagic是怎么处理相对路径的？貌似只能抓取绝对路径？

@黄亿华 你好，想跟你请教个问题：webmagic是怎么处理相对路径的？貌似只能抓取绝对路径？ …

抓取的数据怎么进行清洗，去掉某些标签

请问抓取的数据有什么好的方法过滤掉某些标签，谢谢 …

代理功能到底是否好用？ .setHttpProxy(new HttpHost("",)) 该方法是否可用？

@黄亿华 你好，想跟你请教个问题：代理功能到底是否好用？ .setHttpProxy(new HttpHost("",)) 该方法是否可用？ …

抓取页面中表格里面的分页数据

一个页面中有一个表格，表格自带分页。如net的DataGrid.如何做到抓取 DataGrid的分页数据.…

使用webmagic遇到的问题及解决办法

      感谢黄大写的垂直爬虫框架webmagic,简化了我的工作,少些了很多代码.这里对使用过程中遇到的问题,已经如何解决的,做一些汇总和梳理,希望能对别…

使用WebMagic采集的一个问题

我正在使用WebMagic采集zhihu的时候发现一个问题. zhihu.com使用到了CDN技术,我使用WebMagic调试中发现了SSL握手过程中返回给我的证书,并非是zhihu.c…

webmagic如何同时获取两个tab页面上的数据

webmagic爬取的链接如何去重呢

@黄亿华 你好，想跟你请教个问题：我要对一个新闻网站进行定时爬取，昨天得到的链接今天怎么避免重复爬取到呢…… …

webmagic运行提示错误

运行 这个错误时咋回事 调用Site.me().addStartUrl("http://my.oschina.net/flashsword/blog").setDomain("my.oschina.net")貌似报错Exception in th…

webmagic下载出现中文乱码

@黄亿华 你好，想跟你请教个问题：我运行了您写的那个webmagic-core包中的示例程序，从开源中国博客上下载下来的中文内容通过FilePipeline方法保存到…

抓取不到新浪微博的网页

以下是page.tostring()，可是查看浏览器源码差太多了 Page{request=Request{url='http://weibo.com/rjfittime?from=feed&loc=at&nick=FitTime%E7%9D%…

webmagic抓取数据不进入process方法

@黄亿华 你好，想跟你请教个问题：为什么我在用webmagic抓取数据时，有一个网站的在执行时，不进入process方法，其他的网站就能执行。 …