从 URL 下载返回的 Zip 文件

Question

如果我有一个 URL，当在 Web 浏览器中提交时，会弹出一个对话框来保存 zip 文件，我将如何在 Python 中捕获并下载这个 zip 文件？

Answer 1

据我所知，在 Python 2 中执行此操作的正确方法是：

import requests, zipfile, StringIO
r = requests.get(zip_file_url, stream=True)
z = zipfile.ZipFile(StringIO.StringIO(r.content))
z.extractall()

当然，您需要使用 r.ok 检查 GET 是否成功。

对于 python 3+，将 StringIO 模块添加到 io 模块并使用 BytesIO 代替StringIO： 这里是提及此更改的发行说明。

import requests, zipfile, io
r = requests.get(zip_file_url)
z = zipfile.ZipFile(io.BytesIO(r.content))
z.extractall("/path/to/destination_directory")

Answer 2

大多数人建议使用 requests（如果可用），并且 requests 文档 建议使用此方法从网址下载和保存原始数据：

import requests 

def download_url(url, save_path, chunk_size=128):
    r = requests.get(url, stream=True)
    with open(save_path, 'wb') as fd:
        for chunk in r.iter_content(chunk_size=chunk_size):
            fd.write(chunk)

由于答案询问如何下载并保存 zip 文件，我还没有进入有关读取 zip 文件的详细信息。请参阅下面的众多答案之一以了解可能性。

如果由于某种原因您无法访问requests，您可以使用urllib.request。它可能不如上面的那么强大。

import urllib.request

def download_url(url, save_path):
    with urllib.request.urlopen(url) as dl_file:
        with open(save_path, 'wb') as out_file:
            out_file.write(dl_file.read())

最后，如果您仍在使用 Python 2，则可以使用 urllib2.urlopen。

from contextlib import closing

def download_url(url, save_path):
    with closing(urllib2.urlopen(url)) as dl_file:
        with open(save_path, 'wb') as out_file:
            out_file.write(dl_file.read())

Answer 3

在 这篇博文，我已经让它只处理请求。
奇怪的 stream 事情的要点是我们不需要调用 content
对于大型请求，这需要立即处理所有请求，
堵塞内存。 stream 通过迭代数据来避免这种情况
一次一大块。

url = 'https://www2.census.gov/geo/tiger/GENZ2017/shp/cb_2017_02_tract_500k.zip'

response = requests.get(url, stream=True)
with open('alaska.zip', "wb") as f:
    for chunk in response.iter_content(chunk_size=512):
        if chunk:  # filter out keep-alive new chunks
            f.write(chunk)

Answer 4

以下是我在 Python 3 中要做的工作：

import zipfile, urllib.request, shutil

url = 'http://www....myzipfile.zip'
file_name = 'myzip.zip'

with urllib.request.urlopen(url) as response, open(file_name, 'wb') as out_file:
    shutil.copyfileobj(response, out_file)
    with zipfile.ZipFile(file_name) as zf:
        zf.extractall()

Answer 5

将 .zip 文件保存到磁盘上某个位置的超轻量级解决方案（使用 Python 3.9）：

import requests

url = r'https://linktofile'
output = r'C:\pathtofolder\downloaded_file.zip'

r = requests.get(url)
with open(output, 'wb') as f:
    f.write(r.content)

Answer 6

我来这里寻找如何保存 .bzip2 文件。让我将代码粘贴给其他可能会寻找此内容的人。

url = "http://api.mywebsite.com"
filename = "swateek.tar.gz"

response = requests.get(url, headers=headers, auth=('myusername', 'mypassword'), timeout=50)
if response.status_code == 200:
with open(filename, 'wb') as f:
   f.write(response.content)

我只想按原样保存文件。

Answer 7

要么使用 urllib2.urlopen，要么你可以尝试使用优秀的 Requests模块并避免 urllib2 的麻烦：

import requests
results = requests.get('url')
#pass results.content onto secondary processing...

Answer 8

感谢@yoavram提供上述解决方案，
我的 url 路径链接到压缩文件夹，并遇到 BADZipfile 错误
（文件不是zip文件），如果我尝试了几次就很奇怪
检索网址并突然解压缩，所以我稍微修改了解决方案
少量。按照此处使用 is_zipfile 方法一个>

r = requests.get(url, stream =True)
check = zipfile.is_zipfile(io.BytesIO(r.content))
while not check:
    r = requests.get(url, stream =True)
    check = zipfile.is_zipfile(io.BytesIO(r.content))
else:
    z = zipfile.ZipFile(io.BytesIO(r.content))
    z.extractall()

Answer 9

使用 requests、zipfile 和 io python 包。

特别是 BytesIO 函数用于将解压后的文件保留在内存中，而不是将其保存到驱动器中。

import requests
from zipfile import ZipFile
from io import BytesIO

r = requests.get(zip_file_url)
z = ZipFile(BytesIO(r.content))    
file = z.extract(a_file_to_extract, path_to_save)
with open(file) as f:
    print(f.read())