将工作服务器与 php 应用程序一起使用的指南

Question

我已经构建了一个 PHP 应用程序，并且我读到，在调用 api 或执行耗时的操作时，使用“worker”+队列服务器是最佳实践。

快速搜索教程却一无所获。我已经使用 codeigniter 构建了我的应用程序，并且我确实对 facebook api 进行了各种调用 + 在整个应用程序中使用基于 php 的图像操作。我唯一想知道的是，如果我正在执行 api 调用或调整图像大小，并且用户在完成之前通常不会关心从我的服务器返回响应，那么队列服务器+工作人员如何帮助我。

哪些情况适合使用工作线程 + 队列服务器？是否有任何指南可以将这些内容包含在我的应用程序中？最近我在我的应用程序中包含了 memcache，这非常简单。我只是用 memcache 处理程序包装了我的 sql 查询。

Answer 1

在您描述的示例（图像调整大小）中，您基本上在调整图像大小期间保持 Apache 连接打开。 Apache 进程非常昂贵，为了使您的系统尽可能具有可扩展性，您应该致力于使 Web 请求/响应尽可能短。
另一个想法是使用队列可以控制并发。如果 100 多个用户同时上传图片并调整大小怎么办？你的服务器能处理吗？如果您有一个工作（后端）服务器来处理这些请求，那么您将能够仅允许执行 X 个并发作业。

这同样适用于 Web 服务请求：您基本上将 Web 服务调用的执行卸载到工作进程，而不是保持打开的连接，这释放了 apache 进程，并且您可以实现 AJAX 轮询机制来检查是否后端服务器向Web服务发出的请求已完成。从长远来看，系统将具有更好的扩展性，并且用户通常不喜欢等待操作完成而没有关于操作位置的反馈。排队允许您异步执行任务并向访问者提供有关任务完成状态的反馈。

我通常使用 Zend Server 的作业队列 (http://devzone.zend.com/article/11907 和 http://devzone.zend.com/article/11907）可用与 Zend Server 完整版（商业）。然而，Gearman 在这方面也很出色，并且有一个 PHP 扩展：http://php。 net/manual/en/book.gearman.php 和示例：http://www.php.net/manual/en/gearmanclient.do.php。

希望这有帮助。

--编辑--

@Casey，我开始添加评论，但意识到这很快就会变得太长，所以我编辑了答案。我刚刚阅读了云控制的文档，这是我不知道的服务。然而幸运的是，我已经相当广泛地使用了 Codeigniter，所以我将尝试为您破解一个答案：

1-Cloudcontrol 的工作人员概念是从命令行启动 php 脚本。因此，您需要一种方法让 Codeigniter 接受从命令行触发脚本并将其分派到控制器。您可能希望将其限制为一个控制器。请参阅代码：http://pastebin.com/GZigWbT3
该文件本质上与 CI 的 index.php 文件的作用相同，只是它通过设置 $_REQUEST['SERVER_URI'] 来模拟请求。请务必将该文件放置在文档根目录之外，并相应地调整 $system_folder 变量。

2- 您的控制器文件夹中需要有一个控制器 script.php，您可以从中禁用 Web 请求。您可以做一些事情来达到以下效果：

<?php
class script extends CI_Controller {
    public function __construct() {
        if(php_sapi_name() !== 'cli') {
            show_404();
        }
        parent::__construct();
    }

    public function resizeImage($arg1, $arg2) {
        //Whatever logic to resize image, or library call to do so.
    }
}

3-最后一部分是让您在 CI 中开发一个包装器库（在您的 system/application/libraries 文件夹中），它将有效地包装 CloudController 的工作调用的功能

    public function _construct() {
        $ci = get_instance();

        //add check to make sure that the value is set in the configuration
        //Ideally since this is a library, pass the app_name in a setter to avoid creating a dependancy on the config object.
        //Somewhere in one of your config files add $config['app_name'] = 'YOUR_APP_NAME/YOUR_DEP_NAME';
        //where APP_NAME and DEP_NAME are cloud controller's app_name and dep_name
        $this->_app_name = $ci->config->item('app_name');

        //Also add: $config['utilities_script'] = 'path/to/utilities.php';
        //This is the script created in step 1
        $this->_utilities_script = $ci->config->item('utilities_script');
    }

    public function run() {
        $args = func_get_args();
        if(count($args) < 1 ) {
            //We expect at least one arg which would be the command name
            trigger_error('Run expects at least one argument', E_USER_ERROR);
        }

        $method = array_shift($args);

        //utilities.php is the file created in step 1
        $command = "cctrlapp " . $this->_app_name . " worker.add ".$this->_utilities_script;

        //Add arguments if any
        $command .= ' "'.implode(' ', $args).'"';

        //finally...
        exec($command);
    }
}

4- 现在，从代码中实际想要对作业进行排队的任何位置（如果来自控制器）：

$this->load->library('Worker');
//resizeImage will call the method resizeImage in the script controller.
$this->worker->run('resizeImage', $width, $height);

Pelase 请注意：
1- 这可以进一步完善，这实际上是为了让您了解如何完成它
2-由于我没有云控制器帐户，因此我无法测试代码，因此可能需要调整。我在项目中使用的utilities.phph脚本所以这个应该很好。
祝你好运！

Answer 2

如果您不需要专用的工作/队列服务器设置，您可以为您的 codeigniter 安装创建一个小型库来管理简单的工作队列。

在初始客户端请求期间，您检查生成的图像或缓存中的远程文件是否不需要（重新）生成，并提供文件。如果需要构建文件或图像，您可以告诉队列库将其添加到队列中，然后关闭与浏览器的连接。 但是，在同一请求期间，您仍然在控制器末尾处理队列。这样您就不需要单独的队列和工作服务器。

对我来说，关于 http://www.php.net/manual 的评论/en/features.connection-handling.php 非常有帮助。您基本上会执行如下操作：（概念证明，请参阅链接了解详细信息）

header("Connection: close\r\n");  // close the connection
ob_end_flush();                   // flush everything
ob_flush();
flush();

set_time_limit(300);              // set a nicer time-out for the queue-worker
$this->queue_lib->process();      // do processing
sleep(5);                         // or get some of that much needed sleep
echo 'Text user will never see';

在开发和调试期间，您可以暂时禁用关闭连接部分并查看任何输出。对于生产，您可以使用 log_message()。

队列库功能（编码器/自身注释）：将文件添加到队列时，队列库应检查该文件是否已在队列中。因为在此设置中，工作人员异步运行（许多不同的浏览器连接），所以当工作人员开始处理作业时，它应该将作业状态设置为“正在处理”之类的内容，以便其他工作人员不会开始处理同一作业。或者，您可以通过将整体队列状态设置为“队列正在处理”（一次一个工作人员）来设置顺序队列。作业（或整体队列）的超时可能也是一个好主意，并且超时应该比 set_time_limit() 稍大一些。这样您就可以知道作业何时可能失败并更新错误日志。尽早处理队列清理，以确保它们得到处理并且不会超出任何超时范围。

注意：在同一个链接页面中，如果您对本地文件系统中的文件进行操作，同时想要使用ignore_user_abort(true)或register_shutdown_function()，那么存储工作目录似乎是明智的第一的。 $cwd = getcwd();

编辑：
为工作库找到了一个很好的起点：
http://www.andy-russell.com/job-scheduler-library