PHP-curl怎么样才可以抓取网页中的一部分就结束呢？

Question

比如说，我想抓取网页中的title，要是把全部网页都下载下来的话太浪费了，只要一部分就可以了，用curl怎么样才能实现呢？file_get_contents倒是可以，但是不太稳定。有没有别的更好的办法？

Answer 1

可不可以使用fopen()、fgets()、fclose()组合？

$page = fopen($url,"r");
while(! feof($page))
{
$c = fgets($page);
$c = strpos($c, '<title>');
if ($c != 0)
{
return true;
break;
}
}
fclose($page);

我测试过，如果说单纯是为了省流量的话，这样是可行的。

Answer 2

CURLOPT_BUFFERSIZE 每次获取的数据中读入缓存的大小，但是不保证这个值每次都会被填满。

在cURL 7.10中被加入。

CURLOPT_RESUME_FROM 在恢复传输时传递一个字节偏移量（用来断点续传）。

<?php

function callback($download_size, $downloaded, $upload_size, $uploaded)
{
// do your progress stuff here
}

$ch = curl_init('http://www.example.com');

// This is required to curl give us some progress
// if this is not set to false the progress function never
// gets called
curl_setopt($ch, CURLOPT_NOPROGRESS, false);

// Set up the callback
curl_setopt($ch, CURLOPT_PROGRESSFUNCTION, 'callback');

// Big buffer less progress info/callbacks
// Small buffer more progress info/callbacks
curl_setopt($ch, CURLOPT_BUFFERSIZE, 128);

$data = curl_exec($ch);

?>

Answer 3

加上HTTP请求头 Range: bytes=1000-2000
前提是服务器得支持断点续传