pyspider爬虫

Question

@万里谁能驯 你好，想跟你请教个问题：pyspider在爬取网页的时候每次重启都继续上一次的接着爬，怎么设置让它重新开始？，谢谢！

Answer 1

这篇文章能帮到你，菜鸟学Python爬虫系列之十使用PySpider框架

http://log4geek.cc/2017/03/%e8%8f%9c%e9%b8%9f%e5%ad%a6%e7%88%ac%e8%99%ab%e7%b3%bb%e5%88%97%e4%b9%8b%e5%8d%81%e4%bd%bf%e7%94%a8pyspider%e6%a1%86%e6%9e%b6/

Answer 2

推荐大家使用神箭手云爬虫（http://www.shenjianshou.cn），里面有不少已经写好可以直接运行的爬虫，包括爬取微信啊，优酷啊，知乎之类的。

如果是开发者也可以直接在后台使用JavaScript编写爬虫，自带图片云托管、代理ip、验证码识别、爬取异步加载的数据等高级功能，省去了很多开发过程中会遇到的问题。爬虫编写和运行都在云上进行，十分方便。

官方demo源码地址：https://github.com/ShenJianShou/crawler_samples，偷偷告诉你，官方会不断放更多demo源码进去哦！

Answer 3

我不知道，pyspider用的不熟。