Perl WWW::Mechanize cookie 问题

Question

我正在尝试自动从首先要求验证码的网站收集链接。 为此，我捕获验证码图像，以便可以在外部解决它，然后将解决方案作为表单字段的一部分提交。 不知怎的，它不起作用。我怀疑 cookie 有问题，但我不确定，如果有人能解决这个问题，我将不胜感激。

这是代码。首先，我创建了 mech 对象及其 cookie jar：

$cookie_jar = HTTP::Cookies->new;
$agent = WWW::Mechanize->new(cookie_jar => $cookie_jar);
$agent->get("http://www.site.com/page.html");

我找到了感兴趣的链接：

$link = $agent->find_link(tag => "a", text_regex => qr{regex});
$url = $link->url;
$agent->get($url);

在此阶段，该网站会显示一个验证码。我提取图像并保存它，以便人工可以解决它，然后输入解决方案以继续：

$captcha = $agent->find_image(url_regex => qr{captcha\.php});
$agent->get($captcha->url, ':content_file' => 'captcha.jpg');
print "Please solve captcha at http://my.own.site/captcha.jpg\n";
$agent->back;
print "Enter answer: ";
$solved = <>;

现在脚本已手动输入验证码解决方案，它可以通过提交表单来继续：

$agent->form_with_fields('code');
$agent->set_fields(code => $solved, action => 'download');
$agent->submit;

但是这不起作用。结果是页面再次询问验证码，而不是包含我想要的信息的预期页面。

我想知道当我保存验证码图像后执行 $agent->back 时，cookie 是否会丢失/重置？

感谢您的任何提示！

Answer 1

我找到了一种更简单的方法来处理这个问题。如下：

1. 使用 Web 浏览器访问该站点
2. 解决验证码
3. 打开生成的 cookie 并记下 sessionid
4. 然后在脚本中，使用该 sessionid 设置 cookie

就像一个魅力一样。

$phpsessid = '4d93c8f247b49780';
$cookie_jar = HTTP::Cookies->new;
$agent = WWW::Mechanize->new(cookie_jar => $cookie_jar);
$agent->get($url);
$cookie_jar->clear;
$cookie_jar->set_cookie(undef, "SESSIONID", $sessionid, "/", $domain, undef, 1, 0, undef, 1);

Answer 2

您正在访问的网站很可能有某种手段来检测并阻碍免费冲浪；例如，这意味着返回一页或多页，然后再次前进。这通常是通过为每个页面关联一个唯一的 ID 来完成的，这样当您提交该 ID 两次时，很明显您已经浏览回来，然后又从那里继续前进。正如你所说，这与使用 back 有关。

我想知道您是否真的需要返回。关键是在代理外部下载图像，以便代理状态不会被修改。您可以使用第二个代理或 curl，因为您有图像的直接 URL...