网络爬虫，爬取新浪微博数据

Question

如何编写爬虫爬取新浪微博的数据，如用户信息，微博信息的？用java编写，利用新浪API

Answer 1

我建议你试试前嗅的ForeSpider数据采集软件，这款软件操作可视化，使用简易，支持登录、Cookie、Post、https、验证码、JS、Ajax、关键词搜索等技术，一般网页上的公开数据基本都可以采到。如果网站比较复杂，软件里有自带的爬虫脚本语言，通过写脚本，就能完全采集数据了。
我之前是采集过京东的商品评论，不仅采集了数据而且能够在软件里进行数据挖掘和分类、统计、数据分析。
ForeSpider内部集成了数据挖掘的功能，可以快速进行聚类分类、统计分析等，采集结果入库后就可以形成分析报表。
软件还自带免费的数据库，数据采集直接存入数据库，也可以导出成excel文件。
所以你可以去下载免费版先试试看，免费版不限制采集功能，也不限制时间。并且有详细的操作手册可以学习。如果自己不想学习，可以让前嗅进行配置。
而且还有客服可以教你怎样用，有问题出错了客服会远程操作，非常好的服务态度。
我也是一直使用这款软件，非常强大，推荐给你希望对你有帮助。

Answer 2

可以试一试用jsoup抓一次？

http://blog.csdn.net/zhang5476499/article/details/52205150

Answer 3

试试神箭手云爬虫平台的新浪微博爬虫[按关键字爬取]支持云端自动采集，实时更新信息~

爬虫链接：http://www.shenjianshou.cn/index.php?r=market/configDetail&pid=206

Answer 4

我说你们回答问题不看那个发帖时间的么；。

Answer 5

发个http请求某个页面（可以用httpclient），就能拿到页面html代码，然后分析html代码，拿到自己想要的数据（可以用jsoup）

Answer 6

你好，谢谢你的回答，不知道你还有关于这样的源代码没，可以给我一份吗？想学习学习你的代码 。我的邮箱 leebaohpu
@gmail.com 非常感谢。

Answer 7

使用新浪微博的sdk或直接看其api，看懂相关接口，并看清接口都需要传什么参数，到底是get 还是post，然后授权信息到底是放在header还是直接拼接到uri，搞懂这些，使用httpclient就可以，我之前弄过，如有需求可以联系我，我可以和你分享，不过当时我用的授权协议是2.0  不知道现在更新到什么版本了，用接口开发，最主要的就是授权的获得！