批量数据处理技术

Question

我正在寻找一种技术来执行以下操作，我需要您的建议。 我有一个巨大的（真正的）表格，其中包含注册 ID，我需要向这些 ID 所有者发送消息。我无法一次将消息发送给多个收件人，这需要逐一进行。所以我想要一个脚本（php），它可以通过从数据库获取一些量并处理它来在许多并行实例（进程）中运行。换句话说，每个流程都需要处理特定范围的数据。我还想停止每个进程，并能够继续从停止的用户向另一组尚未收到消息的用户发送消息。 如果可以的话？欢迎任何提示和建议。

Answer 1

您可能希望设置一个 cron 作业，这通常是使用 PHP 脚本运行大批量操作的最佳方法之一：

http://www.developertutorials.com/tutorials/php/running-php-cron-jobs-regular-scheduled-tasks-in-php-172/

你的 cron 作业需要指向执行以下操作的 PHP 脚本：

1. 根据
   标志设置为 #3（如下），标识下一批要处理的
2. 向选定的收件人发送电子邮件
3. 保存当前职位成功/失败的注释（即您可以设置
   数据库中成功邮寄的每个收件人旁边的标志，重新运行作业时不会选择这些）

Answer 2

并行处理只能在服务器配置的范围内进行。许多服务器可以以并行方式提供页面，但话又说回来，它仅限于少数。相反，经验法则是尽可能快地跳转到下一个请求。

关于您对数据库中大量数据的处理。首先，您需要一个用于您正在进行的邮件发送的 id 列表：

INSERT INTO `mymailinglisttable` (mailing_id, recipient_id, senton) SELECT 123 AS mailing_id, mycontacttable.recipient_id, NULL FROM mycontacttable WHERE [insert your criterias for your contacts]

接下来，您将需要使用 innodb 或一些巧妙的逻辑来进行并行处理：

使用 InnoDB，您可以执行一些行级锁定，但不要询问我怎么了，自己搜索一下，我根本不使用InnoDB，但我知道这是可能的。因此，您阅读相关文档，选择并锁定一些行，发送电子邮件，标记为已发送，然后通过回调您自己的脚本来重复该操作。 （使用AJAX或使用php套接字）

如果没有InnoDB，您可以简单地向数据库添加2个字段，一个是processid，另一个是lockedon字段。当您想要锁定某些地址进行处理时，请执行以下操作：

$mypid = getmypid().rand(1111,9999);
$now = date('Y-m-d G:i:s');
mysql_query('UPDATE mymailinglisttable SET mypid = '.$mypid.', lockedon = "'.$now.'" LIMIT 3');

这将为您的 pid 锁定 3 行，并在当前时间选择锁定的行：

mysql_query('SELECT * FROM mymailinglisttable WHERE mypid = '.$mypid.' AND lockedon = "'.$now.'")

您将检索正确锁定的 3 行以进行处理。我更倾向于使用这个版本而不是 innodb 版本，因为我是用这种方法提出的，但不是因为它性能更高，实际上，我确信 InnoDB 的版本要好得多，只是从未尝试过。

Answer 3

如果您习惯使用 PEAR 模块，我建议您查看一下 pear Mail_Queue 模块。

http://pear.php.net/package/Mail_Queue

有详细的文档和很好的教程。我之前使用过此版本的修改版本向客户发送了数千封电子邮件，但它还没有给我带来问题：

http://pear.php.net/manual/en/package.mail.mail-queue.mail-queue.tutorial.php< /a>