在 PHP 中使用 POST 变量抓取 ASP.Net 网站

Question

在过去的几天里，我一直在尝试抓取一个网站，但到目前为止还没有成功。

情况如下： 我试图抓取的网站需要之前提交的表单中的数据。我已经识别了 Web 应用程序所需的变量，并调查了原始 Web 应用程序发送的 HTTP 标头。

由于我对 ASP.net 的了解几乎为零，所以我想问一下我是否在这里遗漏了一些东西。

我尝试了不同的方法（CURL、获取内容和 Snoopy 类），这是我的 curl 方法的代码：

<?php
$url = 'http://www.urltowebsite.com/Default.aspx';
$fields = array('__VIEWSTATE' => 'averylongvar',
                '__EVENTVALIDATION' => 'anotherverylongvar',
                'A few' => 'other variables');

$fields_string = http_build_query($fields);

$curl = curl_init($url);

curl_setopt_array
(
    $curl,
    array
    (
        CURLOPT_RETURNTRANSFER  =>    true,
        CURLOPT_SSL_VERIFYPEER  =>    0,  //    Not supported in PHP
        CURLOPT_SSL_VERIFYHOST  =>    0,  //        at this time.
        CURLOPT_HTTPHEADER      =>
            array
            (
                'Content-type: application/x-www-form-urlencoded; charset=utf-8',
                'Set-Cookie: ASP.NET_SessionId='.uniqid().'; path: /; HttpOnly'
            ),
        CURLOPT_POST            =>    true,
        CURLOPT_POSTFIELDS      =>    $fields_string,
        CURLOPT_FOLLOWLOCATION => 1
    )
);

$response = curl_exec($curl);
curl_close($curl);

echo $response;
?>

请求了以下标头：

• 请求 URL： http://www.urltowebsite.com/default.aspx
• 请求方法：POST
• 状态代码： 200 OK

请求标头

• Accept:application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,/;q=0.5
• Content-类型：application/x-www-form-urlencoded
• 用户代理：Mozilla/5.0 (Macintosh; U; 英特尔 Mac OS X 10_6_4； en-us） AppleWebKit/533.18.1（KHTML，如 Gecko) Version/5.0.2 Safari/533.18.5

表单数据

• 很多表单字段

响应标头

• Cache-Control:private
• Content-Length:30168
• Content-Type:text/html; charset=utf-8
• Date:Thu, 09 Sep 2010 17:22:29 GMT
• Server:Microsoft-IIS/6.0
• X-Aspnet-Version:2.0.50727
• X-Powered-By:ASP.NET

当我调查我编写的 CURL 脚本不知何故不会生成表单数据请求。请求方法也没有设置为 POST。在我看来，这就是出问题的地方，但不知道。

任何帮助表示赞赏！

编辑：我忘了提及，抓取的结果是远程网站的自定义会话过期页面。

Answer 1

由于 __VIEWSTATE 和 __EVENTVALIDATION 是基本 64 字符数组，因此我对这些字段使用了 urlencode()：

$fields = array('__VIEWSTATE' => urlencode( $averylongvar ),
                '__EVENTVALIDATION' => urlencode( $anotherverylongvar),
                'A few' => 'other variables');

并且对我来说效果很好。

Answer 2

由于 VIEWSTATE 包含特定情况下的页面状态（并且所有这些状态都被编码成一个大的、显然混乱的字符串），因此您无法确定您正在抓取的参数对于您的“模拟”请求是否相同（我很确定它不可能相同;))。

如果您确实必须处理 VIEWSTATE 和 EVENTVALIDATION 参数，我的建议是采用另一种方法，即通过 Selenium 或类似 HtmlUnit 的库来抓取内容（但不幸的是，我不知道 PHP 中是否有类似的东西）。