在多个服务器上扩展 cronjobs

Question

现在，我们有一台带有 cronjob 选项卡的服务器，可以发送每日电子邮件。我们想扩展该服务器。该应用程序是部署在亚马逊云中centos服务器上的标准zend框架应用程序。

我们已经处理了负载平衡、内容管理和管理部署。然而，cronjob 对我们来说仍然是一个问题，因为我们需要确保某些作业只执行一次。

例如，每日电子邮件 cronjob 只能由单个服务器执行一次。我正在寻找最好的方法来授权只有一台服务器只执行一次。

我正在考虑两种解决方案，但我想知道其他人是否也遇到同样的问题。

1. 将其中一台服务器设置为“主服务器”，仅发送每日电子邮件。如果服务器出现故障，这将是一个问题，并且通常我们不希望有一个“特殊”服务器。这也意味着我们需要跟踪哪个服务器是主服务器。
2. 有一个要执行的计划任务队列。每个服务器打开该队列并查看需要执行哪些任务。 “抓取”任务的第一个服务器将执行该任务并将其标记为已完成。我正在寻找亚马逊简单排队服务作为队列的解决方案。

这两种解决方案都有优点和缺点，我想知道是否有人想到了其他可以帮助我们的解决方案。

Answer 1

当您需要扩展 cron 作业时，最好使用作业管理器，例如 Gearman

Answer 2

Beanstalkd 也可能是您的一个选择。

Answer 3

我也有同样的问题。我所做的非常简单。

1. 我在 AWS 上启动了最便宜的 EC2 实例。
2. 我仅在此服务器上创建了 cronjob。
3. cron 作业仅运行仅向我的端点/api（即 api.mydomain.com）发出简单请求的作业。
4. 在我的 api 上，我只有一条路由来监视这些特殊请求，它将运行我想要的作业。所以基本上，我所做的不是使用 cronjob 运行任务，而是通过 http 请求运行任务。

我希望这是有道理的！现在，无论您拥有多少台服务器，它都可以扩展！另外，你的 cronjob 服务器的唯一功能就是运行简单的作业来发送请求，仅此而已。