文章来源于网络收集而来,版权归原创者所有,如有侵权请及时联系!
第7章 使用 Exporter 导出数据
通过之前章节的学习,大家掌握了Scrapy中爬取数据、封装数据、处理数据的相关技术,本章我们来学习如何将爬取到的数据以某种数据格式保存到文件中,即导出数据。
在Scrapy中,负责导出数据的组件被称为Exporter(导出器),Scrapy内部实现了多个Exporter,每个Exporter实现一种数据格式的导出,支持的数据格式如下(括号中为相应的Exporter):
(1)JSON (JsonItemExporter)
(2)JSON lines (JsonLinesItemExporter)
(3)CSV (CsvItemExporter)
(4)XML (XmlItemExporter)
(5)Pickle (PickleItemExporter)
(6)Marshal (MarshalItemExporter)
其中,前4种是极为常用的文本数据格式,而后两种是Python特有的。在大多数情况下,使用Scrapy内部提供的Exporter就足够了,需要以其他数据格式(上述6种以外)导出数据时,可以自行实现Exporter。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论