通过 wget 获取到内存&绕过磁盘写入

Question

是否可以将网站内容（一组 HTML 页面）直接下载到内存而不写入磁盘？

我有一个机器集群，每台机器安装了 24G，但磁盘配额限制为几百 MB。我正在考虑将输出 wget 重定向到某种内存结构，而不将内容存储在磁盘上。另一个选择是创建我自己的 wget 版本，但可能有一种简单的方法可以使用管道来完成此操作

另外，并行运行此下载的最佳方法是什么（集群有 > >） 20 个节点）。在这种情况下无法使用文件系统。

Answer 1

请参阅 wget 下载选项：

<块引用>

'-O 文件'

'--output-document=文件'

文档不会写入相应的文件，但所有文档都会连接在一起并写入文件。如果使用“-”作为文件，文档将打印到标准输出，禁用链接转换。 （使用“./-”打印到字面名称为“-”的文件。）

如果要将文件读入 Perl 程序，可以使用反引号调用 wget。

根据您真正需要做什么，您也许可以通过使用 LWP::Simple 的 get。

use LWP::Simple;
my $content = get("http://www.example.com/");
die "Couldn't get it!" unless defined $content;

更新：我不知道您可以使用Fuse 和 Fuse.pm。另请参阅Fuse::InMemory。

Answer 2

如果您 a) 已经在使用 Perl，b) 想要下载 HTML，c) 解析它，我总是推荐 LWP 和 HTML::TreeBuilder。

Answer 3

你是根吗？您可以只使用 tmpfs。

重新编辑：您不受 CPU 限制，不需要使用每台机器。您可以使用 xargs -n SOME_NUMBER 来拆分根网址列表（假设有多个）。

但如果你热衷于共享内存，你可以设置一个集群memcache，并使用 memcachefs。

Answer 4

wget <url> -O -

将 URL 的内容写入标准输出，然后可以在内存中捕获。