如何扫描网页并获取图像和 YouTube 嵌入？

Question

我正在构建一个网络应用程序，我需要获取给定 URL 上嵌入的所有图像和任何 Flash 视频（例如 youtube）。 我正在使用Python。

我已经用谷歌搜索过，但没有找到任何关于此的好信息（可能是因为我不知道这叫什么来搜索），有没有人有这方面的经验并且知道如何做到这一点？

我很想看到一些代码示例（如果有的话）。

谢谢！

Answer 1

BeautifulSoup 是一个很棒的屏幕抓取库。 使用 urllib2 获取页面，并使用 BeautifulSoup 对其进行解析。 这是他们文档中的代码示例：

import urllib2
from BeautifulSoup import BeautifulSoup

page = urllib2.urlopen("http://www.icc-ccs.org/prc/piracyreport.php")
soup = BeautifulSoup(page)
for incident in soup('td', width="90%"):
    where, linebreak, what = incident.contents[:3]
    print where.strip()
    print what.strip()
    print