无法使用 Perl 的 LWP 代理检索网页内容

Question

我有一个程序可以检索特定网页的内容，但在某些页面上出现错误：

Can't get http://www.sitename.com
302 Moved Temporarily at geturl.pl line 30.

该网站在浏览器上显示正常。

想知道我可以做什么来获取内容？

我的代码非常简单，标准使用 LWP 并且在大多数页面上运行良好。

  my $browser = LWP::UserAgent->new(
    agent=>'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)',
    keep_alive=>'1'
  );
  ...
  my $response = $browser->get($url);

谢谢！

================

更新：

1. 是的，这是我正在使用的实际代码。是否有明确的选项可以打开以下功能 重定向？
2. 是的，wget 可以工作，

谢谢

Answer 1

LWP::UserAgent 文档表明请求用户代理上的方法将自动遵循重定向。从本文档中不清楚 get 是否使用相同的逻辑。

您可以通过创建 HTTP::Request 对象来使用请求方法。此示例使用 request 方法：

perl -MData::Dumper -MHTTP::Request -MLWP -e '
  $request=HTTP::Request->new(GET => "http://www.google.com");
  $ua=LWP::UserAgent->new;
  print Dumper $ua->request($request);'

Answer 2

我刚刚阅读了 有关一些可以执行的各种模块的演讲的幻灯片Perl 中的 HTTP；也许你可以尝试其他之一，例如 HTTP::Tiny：

perl -MHTTP::Tiny -E '$res=HTTP::Tiny->new->get("http://www.sitename.com/"); say join "\n", map { $res->{$_} } (qw(response status reason content))'