返回介绍

第12章 存入数据库

发布于 2024-02-05 21:13:20 字数 413 浏览 0 评论 0 收藏 0

在之前的章节中,曾讨论过将爬取到的数据导出到文件的相关话题,但在某些时候,我们希望将爬取到的数据存储到数据库中,这一章来学习使用Item Pipeline实现Scrapy爬虫和几种常用数据库的接口。

以第8章toscrape_book项目作为环境展开本章内容的讲解。在toscrape_book项目中,我们爬取了网站http://books.toscrape.com中的书籍信息,其中每一本书的信息包括:

书名

价格

评价等级

产品编码

库存量

评价数量

下面我们来学习如何在爬取数据的过程中将书籍信息存储到各种数据库,这些数据库主要有:SQLite、MySQL、MongoDB、Redis。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文