最近要抓取新浪微博的数据,但是不想通过新浪的API抓取,水平有限,JS分析不好!!求大神指点
看来用API算了
你是怎么解决api速度限制问题的?
回复多弄写帐号,过期就换帐号继续抓,IP限制就定时换IP,ADSL网络下花生壳可以换
我在公司就是用API拿新浪数据,你可以通过解析源码的方式拿,但是那样得写很多代码,而且新浪是反爬虫的,你需要很多账号,还不如用API呢,简单容易
找到了:获取新浪微博1000w用户的基本信息和每个爬取用户最近发表的50条微博 http://www.oschina.net/code/snippet_209440_13633
回复跪谢!!!
你确定可以?
通过API抓取应该是最简单高效的了,就是不能大量抓取,API调用次数有限制,如果没有高权限的key。
好像在哪里看到过一种办法:找个人气比较高的App,反编译找到key和secret,剩下的就不说了,不过我没试过
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
暂无简介
文章 0 评论 0
接受
发布评论
评论(8)
看来用API算了
你是怎么解决api速度限制问题的?
回复
多弄写帐号,过期就换帐号继续抓,IP限制就定时换IP,ADSL网络下花生壳可以换
我在公司就是用API拿新浪数据,你可以通过解析源码的方式拿,但是那样得写很多代码,而且新浪是反爬虫的,你需要很多账号,还不如用API呢,简单容易
找到了:获取新浪微博1000w用户的基本信息和每个爬取用户最近发表的50条微博 http://www.oschina.net/code/snippet_209440_13633
回复
跪谢!!!
你确定可以?
通过API抓取应该是最简单高效的了,就是不能大量抓取,API调用次数有限制,如果没有高权限的key。
好像在哪里看到过一种办法:找个人气比较高的App,反编译找到key和secret,剩下的就不说了,不过我没试过