PHP cURL multi_exec 请求之间的延迟

发布于 2024-11-29 01:33:12 字数 1051 浏览 1 评论 0原文

如果我运行标准 cURL_multi_exec 函数（下面的示例），我会立即获得请求的所有 cURL 句柄。我想在每个请求之间设置 100 毫秒的延迟，有办法做到这一点吗？（在Google和StackOverflow搜索中找不到任何内容）

我在curl_multi_exec()之前尝试过usleep()，这会减慢脚本速度，但不会推迟每个请求。

// array of curl handles & results
$curlies = array();
$result = array();
$mh = curl_multi_init();

// setup curl requests
for ($id = 0; $id <= 10; $id += 1) {
    $curlies[$id] = curl_init();
    curl_setopt($curlies[$id], CURLOPT_URL,            "http://google.com");
    curl_setopt($curlies[$id], CURLOPT_HEADER,         0);
    curl_setopt($curlies[$id], CURLOPT_RETURNTRANSFER, 1);
    curl_multi_add_handle($mh, $curlies[$id]);
}

// execute the handles
$running = null;
do {
    curl_multi_exec($mh, $running);
} while($running > 0);

// get content and remove handles
foreach($curlies as $id => $c) {
    $result[$id] = curl_multi_getcontent($c);
    curl_multi_remove_handle($mh, $c);
}

// all done
curl_multi_close($mh);

我一整天都在研究这个问题，任何帮助将不胜感激！谢谢。

编辑：还有其他非 cUrl 方法吗？这也可以回答我的问题。

原文

If I run a standard cURL_multi_exec function (example below), I get all cURL handles requested at once. I would like to put a delay of 100ms between each request, is there a way to do that? (nothing found on Google & StackOverflow search)

I've tried usleep() before curl_multi_exec() which slows down the script but does not postpone each request.

// array of curl handles & results
$curlies = array();
$result = array();
$mh = curl_multi_init();

// setup curl requests
for ($id = 0; $id <= 10; $id += 1) {
    $curlies[$id] = curl_init();
    curl_setopt($curlies[$id], CURLOPT_URL,            "http://google.com");
    curl_setopt($curlies[$id], CURLOPT_HEADER,         0);
    curl_setopt($curlies[$id], CURLOPT_RETURNTRANSFER, 1);
    curl_multi_add_handle($mh, $curlies[$id]);
}

// execute the handles
$running = null;
do {
    curl_multi_exec($mh, $running);
} while($running > 0);

// get content and remove handles
foreach($curlies as $id => $c) {
    $result[$id] = curl_multi_getcontent($c);
    curl_multi_remove_handle($mh, $c);
}

// all done
curl_multi_close($mh);

I'm working on this all day, any help would be greatly appreciated! Thank you.

EDIT: Any other non-cUrl method? That would also answer my question.

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

浮光之海 2024-12-06 01:33:12

是的，这是可能的。如果您使用 ParallelCurl 库，您可以使用 usleep()，因为您可以发出单独的请求添加到下载队列。

for ($urls as $url) {
    $pcurl->startRequest($url);
    usleep(100000);
}

Yes, this is possible. If you use the ParallelCurl library, you can much more easily add your 100ms delay with usleep(), as you can make a separate request to be added to the download queue.

for ($urls as $url) {
    $pcurl->startRequest($url);
    usleep(100000);
}

回复收藏 0 原文

无所的.畏惧 2024-12-06 01:33:12

别以为你可以。如果您从 cli 运行此命令，您可以将脚本分叉到10 个进程，然后从每个进程发出定期的卷曲请求。这将使您能够对时间进行细粒度的控制。

回复收藏 0 原文

宁愿没拥抱 2024-12-06 01:33:12

PHP 不是这个问题的解决方案。分叉脚本也无济于事。一开始是的，但是一旦你有更多的网站，你需要像这样抓取，你会发现自己的服务器非常非常红。就成本和脚本稳定性而言，您应该重新考虑使用其他想法。

您可以使用 Python 轻松地做到这一点，并且在对 API 端点进行非阻塞实时调用的情况下，您应该使用 Socket.IO + Node.JS 或只是 Node.JS 之类的东西，或者好吧，呵呵...哈哈，

如果您这样做没有时间也不会使用这样的东西：

http://framework.zend.com/manual/en/zendx.console.process.unix.overview.html

这实际上完全取决于您想要实现的目标。

回复收藏 0 原文

影子的影子 2024-12-06 01:33:12

你可以试试这个：
在数据库中存储时间戳，添加一个句柄并调用 curl_multi_exec。
使用 CURLOPT_PROGRESSFUNCTION 检查计时并在需要时添加更多句柄。
此处 Daniel Stenberg（cURL 和 libcurl 的作者）表示，在执行 curl_multi_exec。