使用Python / urllib / beautifulsoup从URL批量下载文本和图像？

Question

我已经浏览了这里的几篇文章，但我就是无法理解使用 Python 从给定 URL 批量下载图像和文本。

import urllib,urllib2
import urlparse
from BeautifulSoup import BeautifulSoup
import os, sys

def getAllImages(url):
    query = urllib2.Request(url)
    user_agent = "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 1.0.3705)"
    query.add_header("User-Agent", user_agent)

    page = BeautifulSoup(urllib2.urlopen(query))
    for div in page.findAll("div", {"class": "thumbnail"}):
        print "found thumbnail"
        for img in div.findAll("img"):
            print "found image"
            src = img["src"]
            if src:
                src = absolutize(src, pageurl)
                f = open(src,'wb')
                f.write(urllib.urlopen(src).read())
                f.close()
        for h5 in div.findAll("h5"):
            print "found Headline"
            value = (h5.contents[0])
            print >> headlines.txt, value


def main():
    getAllImages("http://www.nytimes.com/")

上面是一些更新的代码。发生什么，没什么。代码没有找到任何带有缩略图的 div，显然，没有任何打印结果......所以我可能错过了一些获取包含图像和标题的正确 div 的指针？

多谢！

Answer 1

您使用的操作系统不知道如何写入您在 src 中传递的文件路径。确保用于将文件保存到磁盘的名称是操作系统实际可以使用的名称：

src = "abc.com/alpha/beta/charlie.jpg"
with open(src, "wb") as f:
    # IOError - cannot open file abc.com/alpha/beta/charlie.jpg

src = "alpha/beta/charlie.jpg"
os.makedirs(os.path.dirname(src))
with open(src, "wb" as f:
    # Golden - write file here

一切都会开始工作。

一些额外的想法：

1. 确保规范化保存文件路径（例如 os.path.join(some_root_dir, *relative_file_path*)） - 否则您将在整个硬盘驱动器上写入图像，具体取决于在他们的src上。
2. 除非您正在运行某种测试，否则最好在 user_agent 字符串中宣传您是机器人并尊重 robots.txt 文件（或者提供某种类型的联系信息，以便人们可以在需要时要求您停止）。