casperjs phantomjs 爬虫结果保存到数据库?
@bobshi 你好，想跟你请教个问题：在您博客看到关于casperjs phantomjs的文章,获益匪浅,但是有个问题,casperjs抓取到的内容我怎么才能保存到数据库里面去呢? 最近公司老板让我写个爬虫,爬网页产品价格之类的,有的数据是js执行之后的数据,所以phantomjs可以做到,另外关于爬虫还有其他的技术吗?忘指教,,多谢啦!
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（6）
引用来自“土豆哪里挖”的评论
可以通过webapi的方式将数据提交至后端处理，注意webapi跨域问题（jsonp或者webapi允许跨域调用）
可以通过webapi的方式将数据提交至后端处理，注意webapi跨域问题（jsonp或者webapi允许跨域调用）
你好，
1.casperjs可以做两件事，一是对文件操作，二是访问网络。所以，要保存到数据库，你可以从这两个方向着手。即，要么把你抓取的数据结构化保存到文件里，然后用另外的程序去读文件并保存到数据库中；要么，你做一个保存数据的web url形式的接口（可以是只能内部访问的），然后在casperjs程序中用访问url的形式发送数据进行保存。
2.关于其它爬虫技术，推荐你去了解webdriver.io。
1. 他们需要配合使用，Server用来模拟后台服务，Webdriver用来模拟/驱动浏览器，具体如何使用请查看相关文档。 2. 它有各种语言的支持，用java来开发是可以的。GhostDriver据我所知是phantomjs的驱动。 我只用过nodejs来开发。别的应该类似。但不管用什么语言开发，浏览器驱动是可以随意设置的，你去看selenium的文档你就知道了。
回复
好的,,非常的感谢,以后你有问题也可以问我,虽然我菜鸟一个,万一我恰好研究过呢,哈哈..
引用来自“bobshi”的评论
你好，
1.casperjs可以做两件事，一是对文件操作，二是访问网络。所以，要保存到数据库，你可以从这两个方向着手。即，要么把你抓取的数据结构化保存到文件里，然后用另外的程序去读文件并保存到数据库中；要么，你做一个保存数据的web url形式的接口（可以是只能内部访问的），然后在casperjs程序中用访问url的形式发送数据进行保存。
2.关于其它爬虫技术，推荐你去了解webdriver.io。