php多线程问题

Question

我正在编写一个 php cron 作业，它使用curl 读取数千个提要/网页并将内容存储在数据库中。如何将线程数限制为 6 个？即，即使我需要扫描数千个提要/网页，我也只需要 6 个卷曲线程随时处于活动状态，这样我的服务器和网络就不会陷入困境。我可以在 Java 中使用 Object 的 wait、notify、notifyall 方法轻松完成此操作。我应该构建自己的信号量还是 php 提供任何内置函数？

Answer 1

首先，PHP没有线程，但它有进程控制：
http://php.net/manual/en/book.pcntl.php

我围绕这些函数构建了一个类来帮助满足我的多进程需求。

我也有类似的情况。我记录了从 cron 启动的进程及其状态。我正在从相关的 cron 作业中检查它们。

编辑（更多详细信息）：

在我的项目中，我将所有关键更改记录到数据库中。如果改变满足行动标准，则可以采取行动。所以我做的事情和你不一样。然而，也有一些相似之处。

当我分叉一个新进程时，我将其 pid 输入到数据库表中。然后，下次 cron 作业启动时，它所做的部分工作是检查进程是否已正确完成，然后在数据库表中将操作标记为已完成。

您没有提供有关您的项目的很多细节。所以我就提出一个建议：

• 数据库表保存你想要下载的资源的URL。
• 另一个表保存正在运行的进程的 pid。
• 每小时运行一次的 cron 作业将遍历该表并下载资源并将其存储在数据库中。然而，它首先检查 pid 表中是否有完整/死亡/正在运行的进程，并采取相应的行动。在这里，您可以将进程限制为 6 个。

根据项目的大小，这可能看起来有点过头了。然而，我想了很长一段时间，我想跟踪所有这些分叉的进程。分叉可能是有风险的事情，并且可能导致系统资源过载 - 从经验来看；）

我也有兴趣了解其他技术。

Answer 2

从我的回复 PHP 使用 proc_open，这样它就不会等待它打开（运行）的脚本完成？

我使用 proc_open 时的一些代码

我遇到了 proc_close 问题（10 到 30 秒），所以我只是使用 linux 命令 Kill 终止了该进程

Curl 有时会在各种服务器（ubuntu、centos）上冻结，但不是在所有服务器上，所以我杀死任何需要超过 40 秒的“子”进程，因为通常脚本最多需要 10 秒，我会宁愿重做工作，也不要等待一分钟左右让卷曲解冻。

$options=array();
$option['sleep-after-destroy']=0;
$option['sleep-after-create']=0;
$option['age-max']=40;
$option['dir-run']=dirname(__FILE__);
$option['step-sleep']=1;
$option['workers-max']=6;
$option['destroy-forcefull']=1;

$workers=array();

function endAWorker($i,$cansleep=true) {
        global $workers;
        global $option;
        global $child_time_limit;
        if(isset($workers[$i])) {
                @doE('Ending worker [['.$i.']]'."\n");
                if($option['destroy-forcefull']==1) {
                        $x=exec('ps x | grep "php check_working_child.php '.$i.' '.$child_time_limit.'" | grep -v "grep" | grep -v "sh -c"');
                        echo 'pscomm> '.$x."\n";
                        $x=explode(' ',trim(str_replace("\t",' ',$x)));
                        //print_r($x);
                        if(is_numeric($x[0])) {
                                $c='kill -9 '.$x[0];
                                echo 'killcommand> '.$c."\n";
                                $x=exec($c);
                        }
                }
                @proc_close($workers[$i]['link']);
                unset($workers[$i]);
        }
        if($cansleep==true) {
                sleep($option['sleep-after-destroy']);
        }
}

function startAWorker($i) {
        global $workers;
        global $option;
        global $child_time_limit;

        $runcommand='php check_working_child.php '.$i.' '.$child_time_limit.' > check_working_child_logs/'.$i.'.normal.log';
        doE('Starting [['.$i.']]: '.$runcommand."\n");
        $workers[$i]=array(
                'desc' => array(
                        0 => array("pipe", "r"),
                        1 => array("pipe", "w"),
                        2 => array("file", 'check_working_child_logs/'.$i.'.error.log', "a")
                        ),
                'pipes'                 => null,
                'link'                  => null,
                'start-time'    => mktime()
                );
        $workers[$i]['link']=proc_open(
                $runcommand,
                $workers[$i]['desc'],
                $workers[$i]['pipes'],
                $option['dir-run']
                );
        sleep($option['sleep-after-create']);
}

function checkAWorker($i) {
        global $workers;
        global $option;
        $temp=proc_get_status($workers[$i]['link']);
        if($temp['running']===false) {
                doE('Worker [['.$i.']] finished'."\n");
                if(is_file('check_working_child_logs/'.$i.'.normal.log') && filesize('check_working_child_logs/'.$i.'.normal.log')>0) {
                        doE('--------'."\n");
                        echo file_get_contents('check_working_child_logs/'.$i.'.normal.log');
                        doE('-------'."\n");
                }
                endAWorker($i);
        } else {
                if($option['age-max']>0) {
                        if($workers[$i]['start-time']+$option['age-max']$v) {
                endAWorker($i,false);
        }
        @doE('Done killing workers.'."\n");
}

register_shutdown_function('endAllWorkers');

while(1) {
        $step++;
        foreach($workers as $index=>$v) {
                checkAWorker($index);
        }
        if(count($workers)==$option['workers-max']) {
        } elseif(count($workers)$option['workers-max']) {
                $wl=array_keys($workers);
                $wl=array_pop($wl);
                doE('Killing worker [['.$wl.']]');
                endAWorker($wl[0]);
        }
}

并创建一个名为“check_working_child.php”的文件来完成所有工作，第一个参数是实例编号，第二个参数是时间限制
php check_working_child.php 5 60
意味着你是第五个孩子，可以运行 60 秒。

如果上面的代码没有运行，请告诉我，我将使用 Pastebin 或其他东西发布它......