如何在 Python 中创建守护进程？

Question

在 Google 上搜索会显示 x2 代码片段。 第一个结果是这个代码配方，它有很多文档和解释，以及一些下面进行有用的讨论。

然而，另一个代码示例虽然不包含太多文档，但包含用于传递命令的示例代码，例如启动、停止和重新启动。 它还创建一个 PID 文件，可以方便地检查守护进程是否已经在运行等。

这些示例都解释了如何创建守护进程。 还有其他需要考虑的事情吗？ 一个样本是否优于另一个样本，为什么？

Answer 1

当前解决方案

PEP 3143（标准守护进程库）的参考实现) 现在作为 python-daemon 提供。

历史答案

Sander Marechal 的 代码示例优于原始代码，原始代码最初发布于 2004 年。我曾经为 Pyro 贡献过一个守护程序，但如果我必须重新做的话，可能会使用 Sander 的代码。

Answer 2

成为 许多繁琐的事情需要处理="noreferrer">行为良好的守护进程：

• 防止核心转储（许多守护进程以 root 身份运行，核心转储可能包含敏感信息）

• 在 内正确运行chroot gaol

• 设置 UID、GID、适合用例的工作目录、umask 和其他流程参数

• 放弃提升的 suid、sgid 权限

• 关闭所有打开的文件描述符，并根据用例进行排除

• 如果在已经分离的上下文中启动，例如init、inetd等，则行为正确。< /p>

• 为合理的守护进程行为设置信号处理程序，但也使用特定的处理程序由用例决定

• 重定向标准流stdin，stdout，stderr 因为守护进程不再有控制终端

  


• 将 PID 文件作为协作进程处理咨询锁，本身就是一个蠕虫 有许多矛盾但有效的行为方式

  
  

• 允许在进程终止时进行适当的清理

• 实际上成为守护进程，而不会导致僵尸< /p>

其中一些是标准 ，如规范 Unix 文献中所述（UNIX 环境中的高级编程，已故 W. Richard Stevens，Addison-Wesley，1992 年）。 其他，例如流重定向和 PID 文件处理 ，是大多数守护程序用户所期望的常规行为，但标准化程度较低。

所有这些都包含在PEP 3143“标准守护进程库”中” 规范。 python-daemon 参考实现适用于 Python 2.7 或更高版本以及 Python 3.2 或更高版本。

Answer 3

这是我在开发新的守护程序应用程序时开始使用的基本“Howdy World”Python 守护程序。

#!/usr/bin/python
import time
from daemon import runner

class App():
    def __init__(self):
        self.stdin_path = '/dev/null'
        self.stdout_path = '/dev/tty'
        self.stderr_path = '/dev/tty'
        self.pidfile_path =  '/tmp/foo.pid'
        self.pidfile_timeout = 5
    def run(self):
        while True:
            print("Howdy!  Gig'em!  Whoop!")
            time.sleep(10)

app = App()
daemon_runner = runner.DaemonRunner(app)
daemon_runner.do_action()

请注意，您将需要 python-daemon 库。 您可以通过以下方式安装它：

pip install python-daemon

然后只需使用 ./howdy.py start 启动它，并使用 ./howdy.py stop 停止它。

Answer 4

另一种选择——创建一个普通的、非守护进程的 Python 程序，然后使用 supervisord 在外部对其进行守护进程。 这可以避免很多麻烦，并且是 *nix 和语言可移植的。

Answer 5

请注意 python-daemon 包，它解决了开箱即用的守护进程背后的许多问题。

除其他功能外，它还可以（来自 Debian 软件包描述）：

• 将进程分离到其自己的进程组中。
• 设置适合在 chroot 内运行的进程环境。
• 放弃 suid 和 sgid 特权。
• 关闭所有打开的文件描述符。
• 更改工作目录、uid、gid 和 umask。
• 设置适当的信号处理程序。
• 为 stdin、stdout 和 stderr 打开新的文件描述符。
• 管理指定的PID锁定文件。
• 注册退出处理的清理函数。

Answer 6

可能不是问题的直接答案，但 systemd 可用于将应用程序作为守护进程运行。 这是一个示例：

[Unit]
Description=Python daemon
After=syslog.target
After=network.target

[Service]
Type=simple
User=<run as user>
Group=<run as group group>
ExecStart=/usr/bin/python <python script home>/script.py

# Give the script some time to startup
TimeoutSec=300

[Install]
WantedBy=multi-user.target

我更喜欢这种方法，因为很多工作都为您完成，然后您的守护程序脚本的行为与系统的其余部分类似。

Answer 7

该函数会将应用程序转换为守护进程：

import sys
import os

def daemonize():
    try:
        pid = os.fork()
        if pid > 0:
            # exit first parent
            sys.exit(0)
    except OSError as err:
        sys.stderr.write('_Fork #1 failed: {0}\n'.format(err))
        sys.exit(1)
    # decouple from parent environment
    os.chdir('/')
    os.setsid()
    os.umask(0)
    # do second fork
    try:
        pid = os.fork()
        if pid > 0:
            # exit from second parent
            sys.exit(0)
    except OSError as err:
        sys.stderr.write('_Fork #2 failed: {0}\n'.format(err))
        sys.exit(1)
    # redirect standard file descriptors
    sys.stdout.flush()
    sys.stderr.flush()
    si = open(os.devnull, 'r')
    so = open(os.devnull, 'w')
    se = open(os.devnull, 'w')
    os.dup2(si.fileno(), sys.stdin.fileno())
    os.dup2(so.fileno(), sys.stdout.fileno())
    os.dup2(se.fileno(), sys.stderr.fileno())

Answer 8

YapDi 是一个 python 包。 它可用于将 python 脚本从脚本内部转换为守护进程模式。

Answer 9

由于 python-daemon 尚未支持 python 3.x，并且从邮件列表上可以看到，它可能永远不会支持，我编写了 PEP 3143 的新实现： python.org/pypi/pep3143daemon" rel="noreferrer">pep3143daemon

pep3143daemon 应该至少支持 python 2.6、2.7 和 3.x

它还包含一个 PidFile 类。

该库仅依赖于标准库和六个模块。

它可以用作 python-daemon 的替代品。

这是文档。

Answer 10

我担心@Dustin 提到的守护进程模块对我不起作用。 相反，我安装了 python-daemon 并使用了以下代码：

# filename myDaemon.py
import sys
import daemon
sys.path.append('/home/ubuntu/samplemodule') # till __init__.py
from samplemodule import moduleclass 

with daemon.DaemonContext():
    moduleclass.do_running() # I have do_running() function and whatever I was doing in __main__() in module.py I copied in it.

运行很容易

> python myDaemon.py

为了完整性， 这里是samplemodule目录内容

>ls samplemodule
__init__.py __init__.pyc moduleclass.py

moduleclass.py的内容可以是

class moduleclass():
    ...

def do_running():
    m = moduleclass()
    # do whatever daemon is required to do.

Answer 11

在 python 中进行守护进程时还需要考虑一件事：

如果您正在使用 python logging 并且希望在守护进程之后继续使用它，请确保调用 close()处理程序（特别是文件处理程序）。

如果您不这样做，处理程序仍然可以认为它打开了文件，并且您的消息将消失 - 换句话说，确保记录器知道其文件已关闭！

这假设当您守护进程时，您将不加区别地关闭所有打开的文件描述符 - 相反，您可以尝试关闭除日志文件之外的所有文件（但通常关闭所有文件然后重新打开您想要的文件描述符更简单）。

Answer 12

尽管您可能更喜欢 python-daemon 模块提供的纯 Python 解决方案，但 libc 中有一个 daemon(3) 函数——至少在 BSD 和 Linux ——这会做正确的事情。

从 python 调用它很简单：

import ctypes

ctypes.CDLL(None).daemon(0, 0) # Read the man-page for the arguments' meanings

唯一剩下的事情就是创建（和锁定）PID 文件。 但前提是你自己能处理好...

Answer 13

我修改了 Sander Marechal 的代码示例中的几行（@JeffBauer 在 接受的答案 中提到）以添加 quit() 方法，在守护进程停止之前执行。 这有时非常有用。

就是这里。

注意：我不使用“python-daemon”模块，因为文档仍然缺失（另请参阅许多其他 SO 问题）并且相当晦涩（如何使用此模块从命令行正确启动/停止守护进程？）

Answer 14

经过几年和多次尝试（我尝试了这里给出的所有答案，但最终都有一些小缺点），现在我意识到有一种比直接从 Python 启动、停止、重新启动守护进程更好的方法：改用操作系统工具。

例如，对于 Linux，我不执行 python myapp start 和 python myapp stop，而是执行以下操作来启动应用程序：

screen -S myapp python myapp.py    
# CTRL+A, D to detach

或 screen -dmS myapp python myapp. py 到用一个命令启动并分离它。

然后：

screen -r myapp

再次连接到该终端。 进入终端后，可以使用 CTRL+C 来停止它。

Answer 15

使用 Python 创建守护程序的最简单方法是使用 Twisted 事件驱动框架。 它为您处理守护进程所需的所有内容。 它使用反应器模式来处理并发请求。

Answer 16

80% 的情况下，当人们说“守护进程”时，他们只想要一个服务器。 由于问题在这一点上完全不清楚，因此很难说答案的可能范围是什么。 既然服务器就足够了，那就从那里开始吧。 如果确实需要一个实际的“守护进程”（这种情况很少见），请阅读 nohup 作为守护服务器的一种方法。

在实际需要实际守护进程之前，只需编写一个简单的服务器即可。

另请参阅 WSGI 参考 实现。

另请参阅简单 HTTP 服务器。

“还有其他需要考虑的事情吗？” 是的。 大约一百万件事。 什么协议？ 有多少请求？ 服务每个请求需要多长时间？ 他们多久到达一次？ 您会使用专用流程吗？ 线程？ 子流程？ 编写守护进程是一项艰巨的工作。