在 Linux 上维护长时间运行的任务

Question

我的系统包含一个任务，该任务打开网络套接字，接收从网络推送的数据，对其进行处理，然后将其写入磁盘或根据消息对其他计算机执行 ping 操作。该任务旨在永久运行，并且该服务旨在让该任务始终运行。但有时会崩溃。

保持这样的任务活跃的最佳实践是什么？假设任务在我们重新启动之前最多可以停止 30 秒。

一些明显的想法包括设置一个看门狗进程来检查以确保该进程仍在运行。看门狗可以由cron触发。但它如何知道进程是否还活着呢？写一个pid文件？ 触摸心跳文件？如果机器陷入困境，看门狗的运行速度快于心跳速度，理想的解决方案不会持续启动更多进程。

有没有标准的 Linux 工具可以做到这一点？我可以想象一个使用消息队列的解决方案，但我不确定这是否是一个好主意。

Answer 1

根据您希望监视的任务的性质，一种方法是编写一个简单的包装器以在 fork() 中启动您的任务。

然后，包装器任务可以对子任务执行 waitpid() 操作，并在子任务终止时重新启动它。

这确实取决于修改您希望运行的任务的源。

Answer 2

如果添加到 inittab，sysvinit 将重新启动死亡的进程。

如果您担心进程冻结而不会崩溃并结束进程，则可以使用心跳并硬终止活动实例，让 init 重新启动它。

Answer 3

您可以将 monit 与 守护进程。 *nix 世界中有很多用于此目的的工具。

Answer 4

Supervisor 正是为此任务而设计的。来自项目网站：

Supervisor 是一个客户端/服务器系统，允许用户监视和控制类 UNIX 操作系统上的多个进程。

它作为守护进程 (supervisord) 运行，由命令行工具 supervisorctl 控制。配置文件包含它应该监视的程序列表以及其他设置。

选项的数量相当广泛，--查看文档 获取完整列表。在你的情况下，相关的配置部分可能是这样的：

[program:my-network-task]
command=/bin/my-network-task   # where your binary lives
autostart=true                 # start when supervisor starts?
autorestart=true               # restart automatically when stopped?
startsecs=10                   # consider start successful after how many secs?
startretries=3                 # try starting how many times?

我自己使用了 Supervisor，一旦一切设置完毕，它就工作得非常好。它需要 Python，这在大多数环境中应该不是什么大问题，但实际上可能是。