PHP 抓取库 - phpQuery？

Question

我正在寻找一个 PHP 库，它允许我废弃网页并处理所有 cookie 并使用默认值预填充表单，这是最让我烦恼的。

我厌倦了必须将每个输入元素与 xpath 相匹配，如果存在更好的东西，我会很高兴。我遇到过 phpQuery 但手册不太清楚，我不知道如何发出 POST 请求。

有人可以帮助我吗？谢谢。

@Jonathan Fingland：

在 browserGet() 手册提供的示例中，我们有：

require_once('phpQuery/phpQuery.php');

phpQuery::browserGet('http://google.com/', 'success1');

function success1($browser)
{
    $browser->WebBrowser('success2')
    ->find('input[name=q]')->val('search phrase')
    ->parents('form')
    ->submit();
}

function success2($browser)
{
    echo $browser;
}

我想所有其他字段都被废弃并在 GET 请求中发回，我想对 phpQuery 执行相同的操作::browserPost() 方法，但我不知道该怎么做。我试图抓取的表单有一个输入令牌，如果 phpQuery 能够足够智能地抓取令牌并让我更改其他字段（在本例中为用户名和密码），通过 POST 提交所有内容，我会很高兴。

PS：请放心，这不会将用于发送垃圾邮件。

Answer 1

请参阅 http://code.google.com/p/phpquery/wiki/Ajax 特别是：

phpQuery::post($url, $data, $callback, $type)

和

# data Object, String 将数据参数定义为对象或字符串。 POST 请求应该可以使用查询字符串格式，例如：

$data = "username=Jon&password=123456";
$url = "http://www.mysite.com/login.php";
phpQuery::post($url, $data, $callback, $type)

由于 phpQuery 是 jQuery 端口，因此方法签名是相同的（文档直接链接到 jquery 站点 - http://docs.jquery.com/Ajax/jQuery.post)

编辑

两件事：

还有一个 < code>phpQuery::browserPost 函数可能会更好地满足您的需求。

但是，还要注意 success2 回调仅在 submit() 或 click() 方法，以便您可以在此之前填写所有表单字段。

例如

require_once('phpQuery/phpQuery.php');
phpQuery::browserGet('http://www.mysite.com/login.php', 'success1');
function success1($browser) {
  $handle = $browser
    ->WebBrowser('success2');
  $handle 
    ->find('input[name=username]')
      ->val('Jon');
  $handle 
    ->find('input[name=password]')
      ->val('123456');
      ->parents('form')
        ->submit();
}
function success2($browser) {
  print $browser;
}

（请注意，这尚未经过测试，但应该可以工作）

Answer 2

我过去曾使用 SimpleTest 的 ScriptableBrowser 来处理此类内容。它是 SimpleTest 测试框架的一部分，但您可以单独使用它。

Answer 3

我会使用一个专用库来解析 HTML 文件和一个专用库来处理 HTTP 请求。在我看来，对两者使用相同的库似乎是一个坏主意。

要处理 HTTP 请求，请查看例如。 Httpful，Unirest，请求 或 狂饮。 Guzzle 如今特别流行，但最终，哪个库最适合您仍然取决于个人喜好。

为了解析 HTML 文件，我会推荐一个我自己编写的库： DOM-Query。它允许您 (1) 加载 HTML 文件，然后 (2) 选择或更改 HTML 的部分，这与您在前端应用程序中使用 jQuery 的方式几乎相同。