返回介绍

11.3 将下载的文件保存到硬盘

发布于 2024-01-22 21:44:06 字数 1777 浏览 0 评论 0 收藏 0

现在,可以用标准的open()函数和write()方法,将Web页面保存到硬盘中的一个文件。但是,这里稍稍有一点不同。首先,必须用“写二进制”模式打开该文件,即向函数传入字符串'wb',作为open()的第二参数。即使该页面是纯文本的(例如前面下载的罗密欧与朱丽叶的文本),你也需要写入二进制数据,而不是文本数据,目的是为了保存该文本中的“Unicode编码”。

Unicode编码

Unicode编码超出了本书的范围,但你可以通过以下网页了解更多的相关内容:

· Joel on Software: The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!): http://www.joelonsoftware.com/articles/Unicode.html

· Pragmatic Unicode: http://nedbatchelder.com/text/unipain.html

为了将Web页面写入到一个文件,可以使用for循环和Response对象的iter_content()方法。

>>> import requests
>>> res = requests.get('http://www.gutenberg.org/cache/epub/1112/pg1112.txt')
>>> res.raise_for_status()
>>> playFile = open('RomeoAndJuliet.txt', 'wb')
>>> for chunk in res.iter_content(100000):
        playFile.write(chunk)

100000
78981
>>> playFile.close()

iter_content()方法在循环的每次迭代中,返回一段内容。每一段都是bytes数据类型,你需要指定一段包含多少字节。10万字节通常是不错的选择,所以将100000作为参数传递给iter_content()。

文件RomeoAndJuliet.txt将存在于当前工作目录。请注意,虽然在网站上文件名是pg1112.txt,但在你的硬盘上,该文件的名字不同。requests模块只处理下载网页内容。一旦网页下载后,它就只是程序中的数据。即使在下载该网页后断开了因特网连接,该页面的所有数据仍然会在你的计算机中。

write()方法返回一个数字,表示写入文件的字节数。在前面的例子中,第一段包含100000个字节,文件剩下的部分只需要78981个字节。

回顾一下,下载并保存到文件的完整过程如下:

1.调用requests.get()下载该文件。

2.用'wb'调用open(),以写二进制的方式打开一个新文件。

3.利用Respose对象的iter_content()方法做循环。

4.在每次迭代中调用write(),将内容写入该文件。

5.调用close()关闭该文件。

这就是关于requests模块的全部内容!相对于写入文本文件的open()/write()/ close()工作步骤,for循环和iter_content()的部分可能看起来比较复杂,但这是为了确保requests模块即使在下载巨大的文件时也不会消耗太多内存。你可以访问http://requests.readthedocs.org/,了解requests模块的其他功能。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文