怎么有效利用爬虫系统和搜索引擎，抓取用户数据

Question

怎么有效利用爬虫系统和搜索引擎，抓取用户数据

Answer 1

你试试ForeSpider，支持登录、Cookie、Post、https、验证码、JS、Ajax、关键词搜索等技术，一般网页上的公开数据基本都可以采到。

ForeSpider这款软件是可视化的操作。简单配置几步就可以采集。如果网站比较复杂，这个软件自带爬虫脚本语言，通过写几行脚本，就可以采集所有的公开数据。

软件还自带免费的数据库，数据采集直接存入数据库，也可以导出成excel文件。
如果自己不想配置，前嗅可以配置采集模板，我的模板就是从前嗅购买的。

另外他们公司不光是软件好用，还有自己的数据分析系统，直接采集完数据后入库，ForeSpider内部集成了数据挖掘的功能，可以快速进行聚类分类、统计分析等，采集结果入库后就可以形成分析报表。

最主要的是他采集速度非常快，我之前用八爪鱼的软件，开服务器采，用了一个月采了100万条，后来我用ForeSpider。笔记本采的，一天就好几百万条。