Web刮擦和使用Python下载Excel文件

Question

我一直在尝试为其Excel文件刮擦网站。我打算为其中包含来自数据档案部分的大部分数据做一次。我可以通过URLIB请求一次下载单个文件，并在几个不同的文件上尝试。但是，当我尝试创建一个函数以下载所有功能时，我一直在收到一些错误。发生的第一个错误只是将HTTP文件地址作为列表。我将验证验证更改为False（不是出于安全原因的最佳实践），以解决它给我且奏效的认证SSL错误。然后，我通过废弃并将其下载到特定文件夹中再次尝试进一步进行。我以前在一个类似的项目中做到了这一点，并且在认证错误SSL方面并没有花费这么困难。

import requests
from bs4 import BeautifulSoup
import os

os.chdir(r'C:\ The out put path were it will go\\')
 
url = 'https://pages.stern.nyu.edu/~adamodar/pc/archives/'
reqs = requests.get(url, verify=False)
soup = BeautifulSoup(reqs.text, 'html.parser')
file_type = '.xls'
 
urls = []
for link in soup.find_all('a'):
    file_link = link.get('href')
    if file_type in file_link:
        print(file_link)
        with open(link.text, 'wb') as file:
            response = requests.get(url + file_link)
            file.write(response.content)

即使在验证False之后，这是错误的原因，这似乎在生成列表之前就可以解决问题。每次尝试尝试抓住第一个文件，但不会循环到下一个文件。

requests.exceptions.sslerror：httpsconnectionpool（host ='pages.sern.nyu.edu'，port = 443）：最大重试超过： ，'[ssl：cidtul_verify_failed]证书验证失败：无法获得本地发行者证书（_SSL.C：1129）'）

我想缺少什么？

Answer 1

您忘记设置verify = false获取文件时

urls = []
for link in soup.find_all('a'):
    file_link = link.get('href')
    if file_type in file_link:
        print(file_link)
        with open(link.text, 'wb') as file:
            response = requests.get(url + file_link, verify=False) # <-- This is where you forgot
            file.write(response.content)