如何使用 Perl 从网站下载链接目标？

Question

我刚刚制作了一个脚本来从网站获取链接，然后将它们保存到文本文件中。

现在我正在处理我的正则表达式，因此它将从文本文件中获取 URL 中包含 php?dl= 的链接：

例如：www.example.com/site/admin/a_files .php?dl=33931

这几乎就是您将鼠标悬停在网站上的 dl 按钮上时获得的地址。您可以从中单击下载或“右键单击保存”。

我只是想知道如何实现这一点，必须下载给定地址的内容，这将下载 *.txt 文件。当然，一切都来自剧本。

Answer 1

让 WWW::Mechanize 成为你最好的新朋友。

原因如下：

• 它可以识别网页上与特定正则表达式匹配的链接（在本例中为 /php\?dl=/）
• 它可以通过 follow_link 方法跟踪这些链接
• 它可以获取这些链接的目标并将它们保存到文件中

，而无需将您想要的链接保存在中间文件中！当您拥有适合工作的正确工具时，生活就会变得甜蜜......

---

示例

use strict;
use warnings;
use WWW::Mechanize;

my $url  = 'http://www.example.com/';
my $mech = WWW::Mechanize->new();

$mech->get ( $url );

my @linksOfInterest = $mech->find_all_links ( text_regex => qr/php\?dl=/ );

my $fileNumber++;

foreach my $link (@linksOfInterest) {

    $mech->get ( $link, ':contentfile' => "file".($fileNumber++).".txt" );
    $mech->back();
}

Answer 2

您可以使用 LWP::UserAgent：

my $ua = LWP::UserAgent->new();  
my $response = $ua->get($url, ':content_file' => 'file.txt');  

或者如果您需要文件句柄：

open my $fh, '<', $response->content_ref or die $!;

Answer 3

老问题，但是当我做快速脚本时，我经常使用“wget”或“curl”和管道。这也许不是跨系统可移植的，但如果我知道我的系统有这些命令中的一个或另一个，那么通常是好的。

例如：

#! /usr/bin/env perl
use strict;
open my $fp, "curl http://www.example.com/ |";
while (<$fp>) {
  print;
}