使用 Perl-Mechanize 进行 Dom-Processing：完成一个小程序

Question

我目前正在使用 此数据集包含 2700 个基金会。所有数据均可免费使用，没有任何限制或版权问题。

到目前为止我所拥有的： 如果我采用 WWW::Mechanize，那么收获任务应该没有问题 - 特别是对于进行基于表单的搜索和选择单个条目。嗯 - 我猜该算法基本上是两个嵌套循环：外循环运行基于表单的搜索，内循环处理搜索结果。

外部循环将在页面上的第二个搜索表单上使用 select() 和 submit_form() 函数。我们这里可以使用DOM处理吗？好吧——我们怎样才能得到选择值。

结果的内部循环将使用跟随链接函数通过以下调用获取实际条目。

$mech->follow_link(url_regex => qr/webgrab_path=http:\/\/evs2000.*\?
Id=\d+$/, n => $result_nbr);

这会将我们的机械浏览器转发到入口页面。基本上，URL 查询会查找具有 Id 模式的 webgrap_path 的链接，该模式对于每个数据库条目都是唯一的。 $result_nbr 变量告诉 mecha 接下来应该遵循哪一个结果。

如果我们有多个结果页面，我们也会使用相同的技巧来遍历结果页面。对于条目信息的语义提取，我们可以使用XML解析实际条目的内容：LibXML的html解析器（在这个页面上工作得很好），因为它为您提供了一些强大的DOM选择（使用XPath) 方法。 好吧，实际的页面循环应该可以用几行 Perl 来完成（最多 20 行——可能更少）。

但是等等：入口页面的处理将是最复杂的部分 脚本的。

方法：原则上我们可以使用单个 while 循环执行相同的算法 如果我们巧妙地使用 back() 函数。

您能给我一个关于开始时的提示 - 入口页面的处理 - 在 Perl:: Mechanize 中执行此操作吗？

这就是我所拥有的：

 GetThePage(
    starting url 
);
sub GetThePage {
    my $mech ...
    my @pages = ...
    while(@pages) {
       my $page = shift @pages;
       $mech->get( $page );
       push @pages, GetMorePages( $mech );
       SomethingImportant( $mech );
       SomethingXPATH( $mech );
    }
}

问题是如何找到 DOM 路径。

Answer 1

使用 Firebug、Opera Dragonfly、Chromium 开发工具。

调用指定元素上的上下文菜单以复制 XPath 表达式或 CSS 选择器（对于 Web::Query) 到剪贴板。

Answer 2

你真的想使用 Web::Scraper 来完成这种事情。