Question

说到Python中的开源爬虫框架，Scrapy是最先被大家提及的，这是一个相对成熟的框架，有着丰富的文档和开放的社区交流空间。相对于Scrapy来说，PySpider算是一个新秀，但是不容小觑。下面说一下PySpider的具体特性：

1）Python脚本控制，可以用任何你喜欢的html解析包（内置pyquery）。

2）Web界面编写调试脚本、起停脚本、监控执行状态、查看活动历史、获取结果产出。

3）支持MySQL、MongoDB、Redis、SQLite等数据库。

4）支持抓取JavaScript的页面。

5）组件可替换，支持单机/分布式部署，支持Docker部署。

6）强大的调度控制。

7）支持RabbitMQ、Beanstalk、Redis和Kombu作为消息队列。

从内容上来说，两者具有的功能差不多，但还是有一些不同：

·原生的Scrapy并不支持js渲染，需要单独下载scrapy-splash进行配置，而PySpider则支持phantomjs第三方渲染。

·PySpider内置pyquery选择器，Scrapy有XPath和CSS选择器。

·Scrapy全部采用命令行操作，PySpider有较好的WebUI，更加直观。

·PySpider易于调试，Scrapy调试方式稍显复杂，并不直观。

·Scrapy扩展性更强，可以自定义功能，PySpider这方面稍显不足。

以上两种框架各有各的风格，总体来说PySpider使用更加简单，可以快速上手，适合工程化生产爬虫，而Scrapy适合用来进行二次开发，根据项目需求进行自定义拓展。