- 初窥Scrapy
- 安装指南
- Scrapy入门教程
- 例子
- 命令行工具(Command line tools)
- Items
- Spiders
- 选择器(Selectors)
- Item Loaders
- Scrapy终端(Scrapy shell)
- Item Pipeline
- Feed exports
- Link Extractors
- Logging
- 数据收集(Stats Collection)
- 发送email
- Telnet终端(Telnet Console)
- Web Service
- 常见问题(FAQ)
- 调试(Debugging)Spiders
- Spiders Contracts
- 实践经验(Common Practices)
- 通用爬虫(Broad Crawls)
- 借助Firefox来爬取
- 使用Firebug进行爬取
- 调试内存溢出
- 下载项目图片
- Ubuntu 软件包
- Scrapyd
- 自动限速(AutoThrottle)扩展
- Benchmarking
- Jobs: 暂停,恢复爬虫
- DjangoItem
- 架构概览
- 下载器中间件(Downloader Middleware)
- Spider中间件(Middleware)
- 扩展(Extensions)
- 核心API
- Requests and Responses
- Settings
- 信号(Signals)
- 异常(Exceptions)
- Item Exporters
- Release notes
- Contributing to Scrapy
- Versioning and API Stability
- 试验阶段特性
- 索引
- Python 模块索引
文章来源于网络收集而来,版权归原创者所有,如有侵权请及时联系!
安装指南
安装Scrapy
注解
请先阅读 平台安装指南.
下列的安装步骤假定您已经安装好下列程序:
- Python 2.7
- Python Package: pip and setuptools. 现在 pip 依赖 setuptools ,如果未安装,则会自动安装 setuptools 。
- lxml. 大多数Linux发行版自带了lxml。如果缺失,请查看http://lxml.de/installation.html
- OpenSSL. 除了Windows(请查看 平台安装指南)之外的系统都已经提供。
您可以使用pip来安装Scrapy(推荐使用pip来安装Python package).
使用pip安装:
pip install Scrapy
平台安装指南
Windows
从 http://python.org/download/ 上安装Python 2.7.
您需要修改 PATH 环境变量,将Python的可执行程序及额外的脚本添加到系统路径中。将以下路径添加到 PATH 中:
C:\Python2.7\;C:\Python2.7\Scripts\;
请打开命令行,并且运行以下命令来修改 PATH:
c:\python27\python.exe c:\python27\tools\scripts\win_add2path.py
关闭并重新打开命令行窗口,使之生效。运行接下来的命令来确认其输出所期望的Python版本:
python --version
从 https://pip.pypa.io/en/latest/installing.html 安装 pip
打开命令行窗口,确认 pip 被正确安装:
pip --version
到目前为止Python 2.7 及 pip 已经可以正确运行了。接下来安装Scrapy:
pip install Scrapy
Ubuntu 9.10及以上版本
不要 使用Ubuntu提供的 python-scrapy ,相较于最新版的Scrapy,该包版本太旧,并且运行速度也较为缓慢。
您可以使用官方提供的 Ubuntu Packages 。该包解决了全部依赖问题,并且与最新的bug修复保持持续更新。
Archlinux
您可以依照通用的方式或者从 AUR Scrapy package 来安装Scrapy:
yaourt -S scrapy
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论