我可以将网页源从curl 传输到perl 吗？

Question

我正在解析许多网站的源代码，这是一个包含数千页的庞大网络。现在我想在 perĺ 中搜索内容，我想查找关键字出现的次数。

为了解析网页，我使用curl并将输出通过管道传输到“grep -c”，但这不起作用，所以我想使用perl。可以完全利用perl来抓取页面吗？

例如

cat RawJSpiderOutput.txt | grep parsed | awk -F " " '{print $2}' | xargs -I replaceStr curl replaceStr?myPara=en | perl -lne '$c++while/myKeywordToSearchFor/g;END{print$c}' 

说明：在上面的文本文件中，我有可用和不可用的 URL。通过“Grep parsed”我获取可用的 URL。使用 awk，我选择包含纯可用 URL 的第二列。到目前为止，一切都很好。现在回答这个问题：使用 Curl，我获取源代码（也附加一些参数）并将每个页面的整个源代码通过管道传输到 perl，以便计算“myKeywordToSearchFor”的出现次数。如果可能的话，我很乐意在 Perl 中执行此操作。

谢谢！

Answer 1

这仅使用 Perl（未经测试）：

use strict;
use warnings;

use File::Fetch;

my $count;
open my $SPIDER, '<', 'RawJSpiderOutput.txt' or die $!;
while (<$SPIDER>) {
    chomp;
    if (/parsed/) {
        my $url = (split)[1];
        $url .= '?myPara=en';
        my $ff = File::Fetch->new(uri => $url);
        $ff->fetch or die $ff->error;
        my $fetched = $ff->output_file;
        open my $FETCHED, '<', $fetched or die $!;
        while (<$FETCHED>) {
            $count++ if /myKeyword/;
        }
        unlink $fetched;
    }
}
print "$count\n";

Answer 2

尝试一些更像，

   perl -e 'while(<>){my @words = split ' ';for my $word(@words){if(/myKeyword/){++$c}}} print "$c\n"'

即

   while (<>)               # as long as we're getting input (into “$_”)
   { my @words = split ' '; # split $_ (implicit) into whitespace, so we examine each word
     for my $word (@words)  #  (and don't miss two keywords on one line)
     { if (/myKeyword/)     # whenever it's found,
       { ++$c } } }         # increment the counter (auto-vivified)
   print "$c\n"             # and after end of file is reached, print the counter

或，拼写出strict之类的内容

   use strict;
   my $count = 0;
   while (my $line = <STDIN>) # except that <> is actually more magical than this
   { my @words = split ' ' => $line;
     for my $word (@words)
     { ++$count; } } }
   print "$count\n";