Question

使用PhantomJS采集JavaScript动态渲染的页面。这个包基于jonnyw/php-phantomjs包。

PhantomJS: http://phantomjs.org

jonnyw/php-phantomjs: https://github.com/jonnnnyw/php-phantomjs

GitHub: https://github.com/jae-jae/QueryList-PhantomJS

安装

composer require jaeger/querylist-phantomjs

然后还需要去PhantomJS官网下载对应你电脑系统的PhantomJS二进制文件，放到电脑任意路径，下面会用到这个路径,下载页面直达：http://phantomjs.org/download.html

BUG修复

如果运行报下面错：

PHP Warning: Declaration of JonnyW\PhantomJs\DependencyInjection\ServiceContainer::load() should be compatible with Symfony\Component\DependencyInjection\Container::load($file) in /wwwroot/vendor/jonnyw/php-phantomjs/src/JonnyW/PhantomJs/DependencyInjection/ServiceContainer.php on line 20

这是jonnyw/php-phantomjs这个包的bug，已提交给作者等待被修复，在作者未修复前，我们可以通过以下2种方式解决：

方法一: 忽略这个警告，这个警告不影响程序的正确运行，可以屏蔽之。

方法二: 手动修改源码，修改文件vendor/jonnyw/php-phantomjs/src/JonnyW/PhantomJs/DependencyInjection/ServiceContainer.php中的load()函数加个参数并给个默认值:

    public function load($file = null)
    {
        //...
    }

API

• browser($url,$debug = false,$commandOpt = []):使用浏览器打开连接 ,return QueryList
  • $url : 待采集的url或者返回\JonnyW\PhantomJs\Http\RequestInterface对象的匿名函数
  • $debug : 是否开启debug调试，打印更多信息
  • $commandOpt : 设置phantomjs命令行参数，详情:http://phantomjs.org/api/command-line.html

安装参数

QueryList::use(PhantomJs::class,$opt1,$opt2)

• $opt1: PhantomJS二进制文件路径
• $opt2: browser 函数别名

用法

• Installation Plugin

use QL\QueryList;
use QL\Ext\PhantomJs;

$ql = QueryList::getInstance();
// 安装时需要设置PhantomJS二进制文件路径
$ql->use(PhantomJs::class,'/usr/local/bin/phantomjs');
//or Custom function name
$ql->use(PhantomJs::class,'/usr/local/bin/phantomjs','browser');

// Windows下示例
// 注意：路径里面不能有空格中文之类的
$ql->use(PhantomJs::class,'C:/phantomjs/bin/phantomjs.exe');

• Example-1

$html = $ql->browser('https://m.toutiao.com')->getHtml();
print_r($html);

$data = $ql->browser('https://m.toutiao.com')->find('p')->texts();
print_r($data->all());

// 更多选项可以查看文档: http://phantomjs.org/api/command-line.html
$ql->browser('https://m.toutiao.com',true,[
    // 使用http代理
    '--proxy' => '192.168.1.42:8080',
    '--proxy-type' => 'http'
])

• Example-2

$data = $ql->browser(function (\JonnyW\PhantomJs\Http\RequestInterface $r){
    $r->setMethod('GET');
    $r->setUrl('https://m.toutiao.com');
    $r->setTimeout(10000); // 10 seconds
    $r->setDelay(3); // 3 seconds
    return $r;
})->find('p')->texts();

print_r($data->all());

• Example-3

$data = $ql->browser(function (\JonnyW\PhantomJs\Http\RequestInterface $r){
    $r->setMethod('GET');
    $r->setUrl('https://m.toutiao.com');
    $r->setTimeout(10000); // 10 seconds
    $r->setDelay(3); // 3 seconds
    return $r;
},true,[
    '--cookies-file' => '/path/to/cookies.txt'
])->rules([
    'title' => ['p','text'],
    'link' => ['a','href']
])->query()->getData();

print_r($data->all());