如何使用 Perl LWP 抓取欢迎页面？

Question

我正在尝试使用 Perl LWP 抓取此页面：

http://livingsocial.com/cities/86/deals/138811-hour-long-photo-session-cd-and-more

我有曾经能够处理生活的代码社交，但它似乎已经停止工作了。基本上，这个想法是抓取页面一次，获取其 cookie，在 UserAgent 中设置 cookie，然后再抓取两次。通过这样做，您可以进入欢迎页面：

$response = $browser->get($url);
$cookie_jar->extract_cookies($response);  
$browser->cookie_jar($cookie_jar);
$response = $browser->get($url);
$response = $browser->get($url);

这似乎已经停止为正常的 LivingSocial 页面工作，但似乎仍然为 LivinSocialEscapes 工作。例如：

http://livingsocial.com/escapes/148029-cook- island-hotel-+-airfare

关于如何通过欢迎页面有什么建议吗？

Answer 1

看起来此页面仅适用于支持 Javascript 的浏览器（LWP::UserAgent 不支持）您可以尝试 WWW::Mechanize::Firefox：

use WWW::Mechanize::Firefox;
my $mech = WWW::Mechanize::Firefox->new();
$mech->get($url);

请注意，您必须拥有 Firefox 和 mozrepl 安装扩展程序才能使该模块正常工作。