使用机械化可以让这变得更容易吗？

Question

在这篇帖子中我了解到Mechanize Ruby/Perl 中的 比该特定示例中的 HTML::TreeBuilder 3 更容易使用。

Mechanize 是否优于 HTML::TokeParser？

使用 Mechanize 在 Ruby 中编写下面的代码是否会更容易？

sub get_img_page_urls {
    my $url = shift;

    my $ua = LWP::UserAgent->new;
    $ua->agent("$0/0.1 " . $ua->agent);
    $ua->agent("Mozilla/8.0");

    my $req = new HTTP::Request 'GET' => "$url";
    $req->header('Accept' => 'text/html');

    $response_u = $ua->request($req);  # send request

    die "Error: ", $response_u->status_line unless $response_u->is_success;

    my $stream = HTML::TokeParser->new(\$response_u->content);

    my %urls = ();

    my $found_thumbnails = 0;
    my $found_thumb = 0;

    while (my $token = $stream->get_token) {

        # <div class="thumb-box" ... >
        if ($token->[0] eq 'S' and $token->[1] eq 'div' and $token->[2]{class} eq 'thumb-box') {
            $found_thumbnails = 1;
        }

        # <div class="thumb" ... >
        if ($token->[0] eq 'S' and $token->[1] eq 'div' and $token->[2]{class} eq 'thumb') {
            $found_thumb = 1;
        }

        #                                          <a ... >
        if ($found_thumbnails and $found_thumb and $token->[0] eq 'S' and $token->[1] eq 'a') {
            $urls{'http://example.com' . "$token->[2]{href}"} = 1;

            # one url have been found. Now start all over.
            $found_thumb = 0;
            $found_thumbnails = 0;
        }

    }

    return %urls;
}

Answer 1

就界面而言，任何东西都比 HTML::TokeParser 更好。 WWW::Mechanize 的形式非常出色，但它也缺乏一种声明性的方式来查找某些元素。我喜欢 Web::Query 和 HTML::Query 他们按照 jQuery 建模了他们的界面，据我所知，这使得这种编程变得流行。

该问题的程序较短如下。它会自动引发异常，因此不需要显式的错误处理。

use URI;
use Web::Query 'wq';

sub get_img_page_urls {
    my ($url) = @_;
    $Web::Query::UserAgent = LWP::UserAgent->new(agent => 'Mozilla/8.0');

    return map {
        URI->new($_)->abs('http://example.com')->as_string   # hash key
        => 1                                                 # hash value
    } wq($url)->find('div.thumb-box div.thumb a')->attr('href');
}

之前作为评论发布https://stackoverflow.com/q/8274221#comment-10196381

Answer 2

Mechanize 不仅仅是一个解析器。它添加了一个模拟浏览器，允许您导航网站、填写表单等。但它还包括一个解析器，使网络抓取变得非常简单。这是使用 ruby​​ Mechanize 重写的方法：

def get_img_page_urls(url)
  agent = Mechanize.new
  agent.user_agent_alias = "Windows Mozilla"
  agent.get(url).search("//div[@class='thumb-box']/div[@class='thumb']/a/@href")
end

Answer 3

不确定您是否需要使用 Mechanize，因为我认为 Nokogiri 就足够了。我不知道 perl，所以我不完全确定 html 在你的示例中是如何布局的，但我假设它是这样的：

<div class="thumb-box">
  ...
  <div class="thumb">
    ...
    <a href="http://example.com/img/5.jpg">...
  </div>
</div>

这是 Nokogiri 的代码：

require 'nokogiri'
require 'open-uri'

def get_img_page_urls(url)
  urls = []
  doc = Nokogiri::HTML(open('http://www.example.com', 'User-Agent' => 'Mozilla/8.0'))
  doc.css('div.thumb-box div.thumb a').each do |link|
    urls << link.attr("href")
  end

  urls
end