返回介绍

第7章 使用 Exporter 导出数据

发布于 2024-02-05 21:13:20 字数 534 浏览 0 评论 0 收藏 0

通过之前章节的学习,大家掌握了Scrapy中爬取数据、封装数据、处理数据的相关技术,本章我们来学习如何将爬取到的数据以某种数据格式保存到文件中,即导出数据。

在Scrapy中,负责导出数据的组件被称为Exporter(导出器),Scrapy内部实现了多个Exporter,每个Exporter实现一种数据格式的导出,支持的数据格式如下(括号中为相应的Exporter):

(1)JSON (JsonItemExporter)

(2)JSON lines (JsonLinesItemExporter)

(3)CSV (CsvItemExporter)

(4)XML (XmlItemExporter)

(5)Pickle (PickleItemExporter)

(6)Marshal (MarshalItemExporter)

其中,前4种是极为常用的文本数据格式,而后两种是Python特有的。在大多数情况下,使用Scrapy内部提供的Exporter就足够了,需要以其他数据格式(上述6种以外)导出数据时,可以自行实现Exporter。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文