PHP 中的并行处理 - 你是如何做到的？

Question

我目前正在尝试在 php 中实现一个作业队列。然后，队列将作为批处理作业进行处理，并且应该能够并行处理一些作业。

我已经做了一些研究并找到了几种实现它的方法，但我并不太了解它们的优点和缺点。

例如，通过 fsockopen 多次调用脚本来进行并行处理，如下所述：
在 PHP 中轻松进行并行处理

我发现的另一种方法是使用 curl_multi 函数。
curl_multi_exec PHP 文档

但我认为这两种方式将在主要在后台运行的队列上创建批处理会增加相当多的开销吗？

我还阅读了有关 pcntl_fork 的内容，这似乎也是解决该问题的一种方法。但如果你真的不知道自己在做什么（就像现在的我一样），看起来会变得非常混乱。

我还查看了 Gearman，但在那里我还需要根据需要动态生成工作线程，而不仅仅是运行一些工作线程，然后让 gearman 作业服务器将其发送给空闲工作线程。特别是因为线程应该在执行一项作业后干净地退出，以免遇到最终的内存泄漏（该问题中的代码可能并不完美）。
Gearman 入门

所以我的问题是，如何在 PHP 中处理并行处理？您为什么选择您的方法，不同的方法有哪些优点/缺点？

Answer 1

我使用exec()。它既简单又干净。您基本上需要构建一个线程管理器和线程脚本，它们将满足您的需要。

我不喜欢 fsockopen() 因为它会打开一个服务器连接，该连接会建立并可能达到 apache 的连接限制

我不喜欢 curl 函数，原因与

我不喜欢的 原因相同就像 pnctl 一样，因为它需要可用的 pnctl 扩展，并且您必须跟踪父/子关系。

没和齿轮侠一起玩过...

Answer 2

好吧，我想我们有 3 个选择：

A。多线程：

PHP 本身不支持多线程。
但是有一个名为 pthreads 的 PHP 扩展（实验性）（https://github.com/krakjoe/pthreads) 可以让你做到这一点。

B.多进程：

这可以通过 3 种方式完成：

• 分叉
• 执行命令
• 管道

C。分布式并行处理：

工作原理：

1. 客户端应用程序将数据（又名消息）“可以采用 JSON 格式”发送到引擎（MQ 引擎）“可以是本地的还是外部的 Web 服务”
2. MQ 引擎 将数据“主要存储在内存中，也可以选择存储在数据库中”在队列内（您可以定义队列名称）
3. 客户端应用程序向 MQ 引擎请求数据（消息）按顺序（先进先出或基于优先级）处理它们“您还可以从特定队列请求数据”。

一些 MQ 引擎：

• ZeroMQ（不错的选择，很难使用）
  面向消息的IPC库，是Erlang中的消息队列服务器，将作业存储在内存中。它是一个充当并发框架的套接字库。对于集群产品和超级计算来说比 TCP 更快。
• RabbitMQ（不错的选择，易于使用）
  自托管，企业消息队列，并不是真正的工作队列 - 而是可以用作工作队列但需要额外语义的消息队列。
• Beanstalkd（最佳选择，易于使用）
  （Laravel 内置支持，由 facebook 构建，用于工作队列） - 有一个非常好的“Beanstalkd 控制台”工具
• Gearman
  （问题：分布式处理的集中式代理系统）
• Apache ActiveMQ
  Java 中最受欢迎的开源消息代理（问题：大量错误和问题）
• Amazon SQS
  （Laravel 内置支持，托管 - 因此不需要管理。并不是真正的工作队列，因此需要额外的工作来处理语义，例如埋葬作业）
• IronMQ
  （Laravel 内置支持，用 Go 编写，可作为云版本和本地版本使用）
• Redis
  （Laravel 内置支持，但速度不是那么快，因为它不是为此设计的）
• Sparrow
  （用Ruby编写，基于memcache）
• Starling
  （Ruby编写，基于memcache，内置twitter）
• Kestrel
  （只是另一个 QM）
• Kafka
  （用 Scala 在 LinkedIn 上编写）
• EagleMQ
  开源、高性能、轻量级队列管理器（用 C 语言编写）

可以在此处找到更多内容：https://github.com/lukaszx0/queues.io/blob/master/projects.yml

Answer 3

首先，这个答案是基于linux操作系统环境的。
还有一个 pecl 扩展是并行的，您可以通过发出 pecl install parallel 来安装它，但它有一些先决条件：

1. 安装 ZTS(Zend Thread safety)
2. 如果您通过源代码构建此扩展，则 构建 PHP 7.2+ 版本，您应该检查 php.ini 之类的配置文件，然后添加 extension=parallel.so 到其中

，然后查看完整的示例要点：https://gist.github.com/krakjoe/0ee02b887288720d9b785c9f947f3a0a
或 php 官方网站网址：https://www.php.net/manual/ en/book.parallel.php

Answer 4

使用原生 PHP (7.2+) Parallel ，即：（

use \parallel\Runtime;

$sampleFunc = function($num, $param2, $param3) { 
    echo "[Start: $num]";  
    sleep(rand(1,3) ); 
    echo "[end:$num]";   
};

for($i = 0; $i < 11; $i++) { 
    \parallel\run($sampleFunc,  [$param1=$i, $param2=null, $param3="blabla"] );
}
for ($i = 0; $i < 11; $i++) {
    echo " <REGULAR_CODE> ";
    sleep(1);
}

顺便说一句，您将需要通过硬路径安装具有 ZTS 支持的 PHP，然后启用并行，我建议使用 phpbrew 来执行此操作。）

Answer 5

下面总结了 PHP 中并行处理的几个选项。

AMP

Checkout Amp - 异步并发变得简单 - 这看起来是最成熟的 PHP 库我见过并行处理。

Peec 的 Process 类

该类发布在 PHP 的 exec() 函数的注释中 并为创建新流程并跟踪它们提供了一个真正简单的起点。

示例：

// You may use status(), start(), and stop(). notice that start() method gets called automatically one time.
$process = new Process('ls -al');

// or if you got the pid, however here only the status() metod will work.
$process = new Process();
$process.setPid(my_pid);

// Then you can start/stop/check status of the job.
$process.stop();
$process.start();
if ($process.status()) {
    echo "The process is currently running";
} else {
    echo "The process is not running.";
}

比较其他选项

还有一篇很棒的文章 异步处理或多任务处理PHP中的解释了各种方法的优缺点：

• pthreads 扩展（另请参阅这篇 SitePoint 文章）
• Amp\Thread Library
• hack 的异步（需要运行 Facebook 的 HHVM）
• pcntl_fork
• popen
• fopen/curl/fsockopen

门卫

然后，还有这个简单的教程，它被包装成一个小名为 Doorman 的库。

希望这些链接为更多研究提供有用的起点。

Answer 6

如果您的应用程序要在 unix/linux 环境下运行，我建议您使用分叉选项。让它发挥作用基本上就像儿戏一样。我已将它用于 Cron 管理器，并且如果无法选择分叉，则可以将其恢复为 Windows 友好的代码路径。

正如您所说，多次运行整个脚本的选项确实会增加相当多的开销。如果您的脚本很小，这可能不是问题。但是您可能会习惯于按照您选择的方式在 PHP 中进行并行处理。下次当您的工作使用 200MB 数据时，这很可能会成为一个问题。所以你最好学习一种你可以坚持的方法。

我也测试过 Gearman，我非常喜欢它。有一些事情需要考虑，但总的来说，它提供了一种非常好的方法来将作品分发到运行用不同语言编写的不同应用程序的不同服务器。除了设置之外，在 PHP 或任何其他语言中实际使用它，都是……再一次……小孩子的游戏。

对于你需要做的事情来说，这很可能是矫枉过正的。但在处理数据和作业时，它会让您看到新的可能性，因此我建议您尝试 Gearman。

Answer 7

我更喜欢 exec() 和 gearman。
exec() 很简单，无需连接，占用内存较少。
gearman 应该需要一个套接字连接，worker 应该占用一些内存。
但 gearman 比 exec() 更灵活、更快。最重要的是它可以将worker部署在其他服务器上。如果工作很耗费时间和资源。
我在当前的项目中使用 gearman。

Answer 8

我使用 PHP 的 pnctl - 只要你知道你在做什么，它就很好。我理解你的情况，但我不认为理解我们的代码有什么困难，我们只是在实现作业队列或并行进程时需要比以往更有意识。

我觉得只要你完美地编码并确保流程完美，你在实现时就应该记住并行过程。

你可能会犯错误的地方：

1. 循环 - 应该能够通过全局变量来处理。
2. 处理一些事务集——同样，只要你正确定义这些事务集，你就应该能够完成它。

看看这个例子 - https:// github.com/rakesh-sankar/Tools/blob/master/PHP/fork-parallel-process.php。

希望有帮助。

Answer 9

“PHP 中的简单并行处理”中描述的方法是彻头彻尾的可怕 - 原理是好的 - 但实现？？？正如您已经指出的那样，curl_multi_ fns 提供了一种更好的方法来实现这种方法。

但我认为这两种方式会增加相当多的开销

是的，您可能不需要客户端和服务器 HTTP 堆栈来交接工作 - 但除非您在 Google 工作，否则您的开发时间比您的硬件要昂贵得多成本 - 并且有很多用于管理 HTTP/分析性能的工具 - 并且有一个定义的标准，涵盖状态通知和身份验证等内容。

实施解决方案的方式在很大程度上取决于您所需的事务完整性级别以及是否需要按顺序处理。

在您提到的方法中，我建议重点关注使用curl_multi_的HTTP请求方法。但是，如果您需要良好的事务控制/订单交付，那么您绝对应该在消息源和处理代理之间运行代理守护进程（有一个编写良好的单线程服务器适合用作代理的框架此处）。请注意，处理代理应一次处理一条消息。

如果您需要高度可扩展的解决方案，请查看适当的消息队列系统，例如 RabbitMQ。

HTH

C.

Answer 10

必须明白并行性是并发汤中的一根面条（这是我自己的解释）。而且，面条最好是厚热量的过程，而不是像头发一样的线（这是我自己的偏好）。

这里我画了一个简单的例子来说明这一点

因此，并发是必须首先选择的基础（如纤程、承诺、期货等）。我还研究了一些进程抽象（WIN 和 NIX 系统），父/子和客户端/服务器因此给出了主/从关系。这种“硬”层次结构应该允许可控执行并涵盖广泛的用例

连接进程的白线是命令和事件通道，它们是通过 Sync 扩展（信号量和共享内存）。所以这个答案主要是理论上的。

CreateProcess 用于 WIN 上的 proc_open，并且 posix_spawn（速度更快一点）或 pcntl_fork （或者只是 fork）在 NIX 系统上用于进程启动。

另外，只有 PHP_BINARY （或 PHP 运行时本身）可以使用命令行参数启动来运行您的 php 文件。