从 HTML 中提取文本 (Perl)

Question

我正在编写一个脚本，该脚本输入一个页面并从中提取和提取信息。 我用 Perl 编写的脚本。

问题：不是如何开始运行脚本，因为当我启动时，它会选择这样的 url，而这不是我想要的

我想得到这个：

全部代码在这里：

#!/usr/bin/perl
#=======================================================================
#
# FILE: ValePTR.pl
#
# USAGE: ./ValePTR.pl user password
#
# DESCRIPTION:
#
# OPTIONS: ---
# REQUIREMENTS: libgetopt-declare-perl
# BUGS: ---
# NOTAS: ---
# AUTOR: Alejandro
# VERSION: 1.0
# CREATED: Lunes 5 de julio del 2010
# REVISION: 1
#=======================================================================

use warnings;
use strict;
use HTML::TreeBuilder;
use WWW::Mechanize;
use Getopt::Long;
my($content, $search_result, @search_results);

    #Constructor del explorador con un UserAgent falso.
    my $Explorador = WWW::Mechanize->new( agent => 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.4) Gecko/20030624' );
    $Explorador->get("file://home/alejandro/enter.php.html"); #Se procede a acceder a la dirección url para hacer el HTTP Post
    #$Explorador->field('username','miuser'); # Busca el campo username y pone el usuario
    #$Explorador->field('password','mipass'); # Busca el campo password y pone la contraseña
    #$Explorador->submit(); # Hace el HTTP POST

        #print $Explorador->content();
#parse $content with treebuilder
my $page = HTML::TreeBuilder->new();
$page->parse($Explorador->content());
$page->eof();


@search_results= $page->look_down(
sub{ $_[0]-> tag() eq 'a' and ($_[0]->attr('href'))}
);

foreach $search_result (@search_results){
my($url, $title, $summary);

$title = $page->look_down(
sub{ $_[0]-> tag() eq 'a' and ($_[0]->attr('href'))}
);
if($title)
{
print 'title: '.$title->as_HTML,"\n";
}
}


$page->delete;

全部 HTML 代码在这里： http://gist.github.com/465568

PD：请帮助我，我在这里呆了大约 3 个小时，但没有成功。

最终发生的事情是，拿走现有的一切

< code>http://valeptr.com/scripts/runner.php?BA=

我想要的是：

http://valeptr.com/scripts/runner.php?PA=< /代码>

Answer 1

您对 look_down() 的调用无法区分您想要的链接和不需要的链接。尝试更强的过滤器，例如

@search_results = $page->look_down(
    sub {$_[0]->{tag} eq 'a'  &&
         $_[0]->attr('href') =~ /\?PA=/}); # only match http://...?PA=...

Answer 2

我倾向于使用 HTML::TokeParser::Simple这只是为了避免构建文档树的开销：

#!/usr/bin/perl

use strict; use warnings;

use HTML::TokeParser::Simple;

my $parser = HTML::TokeParser::Simple->new('t.html');

while ( my $tag = $parser->get_tag('a') ) {
    my $href = $tag->get_attr('href');
    next unless $href =~ /runner\.php\?PA=[0-9]+\z/;

    print $tag->as_is;

    while ( my $token = $parser->get_token ) {
        print $token->as_is;
        last if $token->is_end_tag('/a');
    }
    print "\n";
}

输出：



...等等