java 或 c++实现的 抓取数据的软件

Question

开源的 数据抓取软件，，就是遍历网站，抓取新闻啊，数据啊什么的，网上有人说pthyon 开发网络爬虫比较方便，对这些知识不熟悉。如果仅仅是做一个入门级的爬虫，有没有什么上手快的开源软件？？？谢谢。

Answer 1

webmagic

Answer 2

简单点的可以用Jsoup

Answer 3

Jsoup 的优势是解析抓取到的网页。对于需要回话的复杂业务系统有时候还是 会抓取不到数据。(做入门级的抓取确实好用)

localHttpURLConnection 来抓取基本是没出过什么问题的。

httpclient 抓取也是基本没出过什么问题。

Answer 4

现在发现好像要做一个 爬虫也不容易啊 。。。。

Answer 5

抓取网络数据可以用Jsoup，不过还是推荐你用Python写网络爬虫，有很多优秀的框架。

Answer 6

一般都是自己写，开源的软件抓取的数据很多时候和自己需要的不一样
http://www.duweixin.net/ 读微信 我的这个网站上的数据抓的是微信的，是用java写的。