抓取特定 html 元素的一批 url 并检索图像的最佳方法是什么？

Question

我希望抓取约 100 个具有相同结构的网页，但我需要的图像在每个实例中具有不同的名称。

图像标签位于：

#content div.artwork img.artwork

并且我需要下载该结果的 src url。

有什么想法吗？我的 url 位于 .txt 文件中，并且位于 mac os x 盒子上。

Answer 1

我不确定如何在文件上使用“选择器”之类的查询，但 Perl 正则表达式也可以完成这项工作：

for url in `cat urls.txt`; do wget -O- $url; done | \
  perl -nle 'print $1 if /<img.+?class="artwork".+?src="([^"]+)"/'