PHP多线程，MySQL

Question

我有一个 php 脚本，我用它赚了大约 100 万。每天都会向特定的 Web 服务发出请求。

问题在于，在“正常”工作流程中，脚本几乎要整天工作才能完成工作。 因此我开发了一个附加组件。基本上我开发了一个脚本，它使用多卷曲 GET 请求访问主脚本，为每 500 条记录生成一些随机 tempid，最后使用 POST 与所有生成的 tempid 发出另一个多卷曲请求。 但是，我认为这不是正确的方法，因此我需要一些建议/解决方案来向主脚本添加多线程功能，而无需使用其他/外部应用程序（例如我当前正在使用的curl 脚本）。 这是主要脚本： http://pastebin.com/rUQ6pwGS

Answer 1

如果你想做正确的事情，你应该安装一个消息队列。我更喜欢 redis 因为它是一个“数据结构服务器，因为键可以包含字符串、散列、列表、集合和排序套”。此外，redis 非常快。

使用 blpop（使用 php 生成几个工作线程并发处理工作）监听新消息（work）并 rpush 将新消息推送到队列中。 生成进程的成本较高（相对），并且在使用消息队列时，只需在创建进程时执行一次。

如果可以的话，我会选择 phpredis （需要重新编译 PHP），因为它是用 编写的扩展C 语言因此将比纯 PHP 客户端快得多。另外 PRedis 也是非常成熟的库，您可以使用。

您还可以使用 brpop/rpush 作为某种锁（如果需要）。这是因为：

多个客户端可以阻止
相同的密钥。他们被放入队列中，
所以第一个服务的将是
一个较早开始等待的人
first-BLPOP 时尚先到先得。

我建议您看一下 Simon 的 redis 教程 以了解一下Redis 提供的强大功能。

Answer 2

这是后台进程，对吗？在这种情况下，您不应通过 Web 服务器运行它。从命令行运行它，作为守护程序或作为 cron 作业。

我更喜欢“cron”作业，因为你可以免费自动重启。确保运行的程序实例没有超出所需数量（您可以通过锁定文件系统中的文件、在数据库中执行原子操作等来实现此目的）。

然后，您只需启动所需数量的进程，并让它们从队列中读取工作。

通常执行此操作的模式是使用一个包含列的表来存储当前正在执行给定任务的人员：

CREATE TABLE sometasks (
   ID of some kind,
   Other info required to do task,
   some data we need to know if the task is due yet or complete,
   locked_by_host VARCHAR(64) NULL,
   locked_by_pid INT NULL
)

然后该过程将执行以下伪查询来锁定一组任务（batch_size 是每批有多少个任务，可以是 1）

UPDATE sometasks SET locked_by_host=my_hostname, locked_by_pid=my_pid 
  WHERE not_done_already AND locked_by_host IS NULL ORDER BY ID LIMIT batch_size

然后使用 select 来选择返回的行以查找当前流程的任务。然后处理任务，并将其更新为“已完成”并清除锁定。

我会选择带有控制器进程的 cron 作业，该进程启动 N 个子进程并监视它们。子进程可能会定期死亡（请记住，PHP 没有良好的 GC，因此它很容易泄漏内存）并重新生成以防止资源泄漏。

如果工作全部完成，父级可以退出，并等待 cron 重新生成（下一小时或其他时间）。

注意：locked_by_host 可以存储主机名（pid 在不同主机中不是唯一的）以允许分布式处理，但也许您不需要它，因此您可以省略它。

您可以通过放置一个locked_time列并检测任务何时花费太长时间来使此设计更加健壮 - 您可以发出警报，终止进程，然后重试或执行其他操作。