如何使用 Perl 从纯文本中提取 URL？

Question

我需要 Perl 正则表达式来解析纯文本输入并将所有链接转换为有效的 HTML HREF 链接。我已经尝试了在网上找到的 10 个不同版本，但没有一个可以正常工作。我还测试了 StackOverflow 上发布的其他解决方案，但似乎都不起作用。正确的解决方案应该能够在纯文本输入中找到任何 URL 并将其转换为：

<a href="$1">$1</a>

在某些情况下，我尝试过的其他正则表达式无法正确处理，包括：

1. 行尾的 URL，后跟
2. 包含问题的返回 URL标记
3. 以“https”开头的 URL

我希望另一个 Perl 人员已经有一个他们正在使用的正则表达式，可以共享。预先感谢您的帮助！

Answer 1

您需要 URI::Find。提取链接后，您应该能够很好地处理其余问题。

perlfaq9 对 "如何提取 URL？"，顺便说一句。这些 perlfaq 中有很多好东西。 :)

Answer 2

除了 URI::Find 之外，还可以查看大型正则表达式数据库：Regexp::Common，其中有一个 Regexp::Common::URI 模块可以为您提供简单的内容：

my ($uri) = $str =~ /$RE{URI}{-keep}/;

如果您想要该 uri 中的不同部分（主机名、查询参数等），请参阅 Regexp::Common::URI::http 用于在 $RE{URI} 正则表达式中捕获的内容。

Answer 3

当我尝试使用以下文本 URI::Find::Schemeless 时：

Here is a URL  and one bare URL with 
https: https://www.example.com and another with a query
http://example.org/?test=one&another=2 and another with parentheses
http://example.org/(9.3)

Another one that appears in quotation marks "http://www.example.net/s=1;q=5"
etc. A link to an ftp site: ftp://[email protected]/test/me
How about one without a protocol www.example.com?

它搞砸了http://example.org/(9.3)。因此，我在 Regexp::Common 的帮助下想出了以下内容：

#!/usr/bin/perl

use strict; use warnings;
use CGI 'escapeHTML';
use Regexp::Common qw/URI/;
use URI::Find::Schemeless;

my $heuristic = URI::Find::Schemeless->schemeless_uri_re;

my $pattern = qr{
    $RE{URI}{HTTP}{-scheme=>'https?'} |
    $RE{URI}{FTP} |
    $heuristic
}x;

local $/ = '';

while ( my $par = <DATA> ) {
    chomp $par;
    $par =~ s/</</g;
    $par =~ s/( $pattern ) / linkify($1) /gex;
    print "<p>$par</p>\n";
}

sub linkify {
    my ($str) = @_;
    $str = "http://$str" unless $str =~ /^[fh]t(?:p|tp)/;
    $str = escapeHTML($str);
    sprintf q|<a href="%s">%s</a>|, ($str) x 2;
}

这适用于所示的输入。当然，生活从来没有像您通过尝试 (http://example.org/(9.3)) 看到的那么容易。

Answer 4

在这里我发布了如何提取 url 的示例代码。
这里它将从标准输入中获取行。
并且它会检查输入行是否包含有效的 URL 格式。
它会给你

use strict;
use warnings;

use Regexp::Common qw /URI/;

while (1)
{
        #getting the input from stdin.
        print "Enter the line: \n";
        my $line = <>;
        chomp ($line); #removing the unwanted new line character
        my ($uri)= $line =~ /$RE{URI}{HTTP}{-keep}/       and  print "Contains an HTTP URI.\n";
        print "URL : $uri\n" if ($uri);
}

我得到的 URL 示例输出如下

Enter the line:
http://stackoverflow.com/posts/2565350/
Contains an HTTP URI.
URL : http://stackoverflow.com/posts/2565350/
Enter the line:
this is not valid url line
Enter the line:
www.google.com
Enter the line:
http://
Enter the line:
http://www.google.com
Contains an HTTP URI.
URL : http://www.google.com