返回介绍

8.1 安装

发布于 2024-02-05 23:37:18 字数 1111 浏览 0 评论 0 收藏 0

我们可以使用pip 命令安装Scrapy,如下所示。

pip install Scrapy

由于Scrapy依赖一些外部库,因此如果在安装过程中遇到困难的话,可以从其官方网站上获取到更多信息,网址为http://doc.scrapy.org/ en/latest/intro/install.html 。

目前,Scrapy仅支持Python 2.7版本,比本书中介绍的其他包条件更加苛刻。如果想支持更低的Python 2.6版本,需要降级到Scrapy 0.20版本。而由于依赖的Twisted的原因,目前还无法支持Python 3版本,不过Scrapy团队向我确认他们正在解决这一问题。

如果Scrapy安装成功,那么就可以在终端里执行scrapy 命令了。

$ scrapy -h
Scrapy 0.24.4 - no active project
 
Usage:
    scrapy < command > [options] [args]
 
Available commands:
    bench  Run quick benchmark test
    check  Check spider contracts
    crawl  Run a spider
...

本章中我们将会使用如下几个命令。

startproject :创建一个新项目;

genspider :根据模板生成一个新爬虫;

crawl :执行爬虫;

shell :启动交互式抓取控制台。

要了解上述命令或其他命令的详细信息,可以参考`http://doc.scrapy.org/en/latest/topics/commands.html`。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文