返回介绍

第8章 项目练习

发布于 2024-02-05 21:13:20 字数 828 浏览 0 评论 0 收藏 0

通过之前章节的学习,大家掌握了编写Scrapy爬虫的基础知识,这一章我们运用之前所学进行实战项目练习。

在第1章的example项目中,我们爬取了http://books.toscrape.com网站中的书籍信息,但仅从每一个书籍列表页面爬取了书的名字和价格信息,如图8-1所示。

图8-1

通常,实际应用需求并不会这么简单,可能需要获取每本书的更多信息,在具体一本书的页面中可以找到更多的信息,点击第一本书的链接,将看到如图8-2所示的页面。

图8-2

如上所示,在一本书的页面中可以获取以下信息:

书名√

价格√

评价等级√

书籍简介

产品编码√

产品类型

税价

库存量√

评价数量√

下面我们新建一个Scrapy项目,爬取每一本书更多的信息(只爬取其中打对号的信息)。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文