文章来源于网络收集而来,版权归原创者所有,如有侵权请及时联系!
8.1 安装
我们可以使用pip 命令安装Scrapy,如下所示。
pip install Scrapy
由于Scrapy依赖一些外部库,因此如果在安装过程中遇到困难的话,可以从其官方网站上获取到更多信息,网址为http://doc.scrapy.org/ en/latest/intro/install.html 。
目前,Scrapy仅支持Python 2.7版本,比本书中介绍的其他包条件更加苛刻。如果想支持更低的Python 2.6版本,需要降级到Scrapy 0.20版本。而由于依赖的Twisted的原因,目前还无法支持Python 3版本,不过Scrapy团队向我确认他们正在解决这一问题。
如果Scrapy安装成功,那么就可以在终端里执行scrapy 命令了。
$ scrapy -h Scrapy 0.24.4 - no active project Usage: scrapy < command > [options] [args] Available commands: bench Run quick benchmark test check Check spider contracts crawl Run a spider ...
本章中我们将会使用如下几个命令。
startproject :创建一个新项目;
genspider :根据模板生成一个新爬虫;
crawl :执行爬虫;
shell :启动交互式抓取控制台。
要了解上述命令或其他命令的详细信息,可以参考`http://doc.scrapy.org/en/latest/topics/commands.html`。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论