如何使用 wget 指定文件名在本地镜像 html 文件及其随附图像？

Question

我需要获取一个 html 格式的 url 及其随附的图像。 html 将使用自定义文件名保存（我在调用脚本中给它一个时间戳），并且图像也需要具有这些时间戳。

结果文件夹的结构应如下所示：

2012-02-22 06:00:00 UTC.html
2012-02-22 07:00:00 UTC.html
2012-02-22 08:00:00 UTC.html
img1_2012-02-22 06:00:00 UTC.gif
img2_2012-02-22 06:00:00 UTC.gif
img1_2012-02-22 07:00:00 UTC.gif
img2_2012-02-22 07:00:00 UTC.gif
img1_2012-02-22 08:00:00 UTC.gif
img2_2012-02-22 08:00:00 UTC.gif

本质上，这是一个镜像，需要将图像路径重写为 html 中的本地相对路径。我尝试过 wget 的 --directory-prefix 和 --output-document ，但显然没有真正成功，因为它将图像嵌入 html 输出文件中。

这对于 Stock wget 是可行的还是最好编写我自己的脚本来将每个文件拉下来，然后解析 html 文件并适当地替换字符串？

Answer 1

我做了一些类似于您想要完成的事情这里。我非常确定您可以重新设计我所得到的内容来创建您的程序。

查看 4chan_image_crawler.rb

该程序执行这些操作。

• 给定一个 URL（线程 URL 4chan.org/b/），创建一个包含该 URL 的整个 html 文件的字符串值。
• 通过一些正则表达式操作，将所有相关图像 URL 放入名为 occurrences 的数组中。
• html 字符串包含图像链接的重复项。因此，只需清理重复项并将最终图像 URL 链接保存到名为 result 的数组中即可。
• 对于结果数组中的所有条目，将图像保存到当前目录中的 /images 文件夹中。

如果您无法理解我的代码，请告诉我。

成功做到这一点的关键是了解如何操作正则表达式并使用 Ruby 中 String 类的 scan 。