python3。如何将下载的网页保存到指定的DIR？

Question

我正在尝试保存所有＆lt; a＆gt; Python主页中的链接到一个名为“下载页面”的文件夹。但是，通过FO循环进行了2次迭代后，我收到以下错误：

www.python.org＃内容 页/www.python.org＃content'＆gt; < ＆lt; _io.BufferedWriter name ='下载 页/www.python.org＃python-network'＆gt;

trackback（最近的呼叫最新电话）：file“/users/lucas/python/ap book 练习/网络刮擦/linkverification.py”，第26行，在 downloadedpage = open（OS.Path.Join（'下载页面'，os.path.basename（linkltoopen）），'wb'）isadirectoryError：[errno 21] 是一个目录：'下载页/'

我不确定为什么会发生这种情况，因为看来页面被保存为由于看到'＆lt; _io.bufferedwriter name ='下载pages/www.python.org＃content'＆gt;''＆gt; ，这对我说是正确的道路。

这是我的代码：

import requests, os, bs4

# Create a new folder to download webpages to
os.makedirs('Downloaded Pages', exist_ok=True)

# Download webpage
url = 'https://www.python.org/'
res = requests.get(url)
res.raise_for_status() # Check if the download was successful

soupObj = bs4.BeautifulSoup(res.text, 'html.parser') # Collects all text form the webpage

# Find all 'a' links on the webpage
linkElem = soupObj.select('a')
numOfLinks = len(linkElem)

for i in range(numOfLinks):
    linkUrlToOpen = 'https://www.python.org' + linkElem[i].get('href')
    print(os.path.basename(linkUrlToOpen))

    # save each downloaded page to the 'Downloaded pages' folder
    downloadedPage = open(os.path.join('Downloaded Pages', os.path.basename(linkUrlToOpen)), 'wb')
    print(downloadedPage)
    if linkElem == []:
        print('Error, link does not work')
    else:
        for chunk in res.iter_content(100000):
            downloadedPage.write(chunk)
        downloadedPage.close()

感谢任何建议，谢谢。

Answer 1

问题在于，当您尝试使用.html dir的页面basename之类的事情时，它可以正常工作，但是当您尝试使用未在URL上指定它的操作，例如“ http：// python） 。因此，要努力工作，最简单的解决方案是使用@thyebri所说的绝对路径。

而且，请记住，您编写的文件不能包含'/'，'\'\'或'？''之类的

字符> re 库我将执行以下操作：

filename = re.sub('[\/*:"?]+', '-', linkUrlToOpen.split("://")[1])
downloadedPage = open(os.path.join('Downloaded_Pages', filename), 'wb')

因此，首先我删除部分我删除“ https：//” part，然后使用正则表达式库，我替换了所有常规符号URL链接中存在带有Dash ' - ''的链接中，这就是将给文件的名称。

希望它有效！