退出守护进程时出现问题

Question

我正在编写一个守护程序，它会生成几个其他子进程。 在我运行 stop 脚本后，主进程在打算退出时继续运行，这真的让我很困惑。

import daemon, signal
from multiprocessing import Process, cpu_count, JoinableQueue
from http import httpserv
from worker import work

class Manager:
    """
    This manager starts the http server processes and worker
    processes, creates the input/output queues that keep the processes
    work together nicely.
    """
    def __init__(self):
        self.NUMBER_OF_PROCESSES = cpu_count()

    def start(self):
        self.i_queue = JoinableQueue()
        self.o_queue = JoinableQueue()

        # Create worker processes
        self.workers = [Process(target=work,
                                args=(self.i_queue, self.o_queue))
                        for i in range(self.NUMBER_OF_PROCESSES)]
        for w in self.workers:
            w.daemon = True
            w.start()

        # Create the http server process
        self.http = Process(target=httpserv, args=(self.i_queue, self.o_queue))
        self.http.daemon = True
        self.http.start()

        # Keep the current process from returning
        self.running = True
        while self.running:
            time.sleep(1)

    def stop(self):
        print "quiting ..."

        # Stop accepting new requests from users
        os.kill(self.http.pid, signal.SIGINT)

        # Waiting for all requests in output queue to be delivered
        self.o_queue.join()

        # Put sentinel None to input queue to signal worker processes
        # to terminate
        self.i_queue.put(None)
        for w in self.workers:
            w.join()
        self.i_queue.join()

        # Let main process return
        self.running = False


import daemon

manager = Manager()
context = daemon.DaemonContext()
context.signal_map = {
        signal.SIGHUP: lambda signum, frame: manager.stop(),
        }

context.open()
manager.start()

stop 脚本只是一行代码 os.kill(pid, signal.SIGHUP)，但之后子进程（工作进程和 http 服务器进程）就很好地结束了，但主要过程只是停留在那里，我不知道是什么阻止了它返回。

Answer 1

您创建了 http 服务器进程，但不 join() 它。 如果您不执行 os.kill() 来停止 http 服务器进程，而是向其发送停止处理哨兵（None，就像发送到工人）然后执行self.http.join()？

更新：您还需要为每个工作人员将None标记发送到输入队列一次。 您可以尝试：

    for w in self.workers:
        self.i_queue.put(None)
    for w in self.workers:
        w.join()

注意，您需要两个循环的原因是，如果您将 None 放入执行 join() 的同一循环中的队列中，则 除 w 之外的工作线程无法拾取任何内容，因此加入 w 将导致调用者阻塞。

您没有显示工作人员或http服务器的代码，因此我假设这些在调用task_done等方面表现良好，并且每个工作人员一旦看到None就会退出，而无需get() - 从输入队列中获取更多内容。

另请注意，JoinableQueue 至少存在一个未解决的、难以重现的问题 .task_done()，这可能会困扰你。

Answer 2

我尝试了一种不同的方法，这似乎有效（请注意，我取出了代码的守护进程部分，因为我没有安装该模块）。

import signal

class Manager:
    """
    This manager starts the http server processes and worker
    processes, creates the input/output queues that keep the processes
    work together nicely.
    """
    def __init__(self):
        self.NUMBER_OF_PROCESSES = cpu_count()

    def start(self):

       # all your code minus the loop

       print "waiting to die"

       signal.pause()

    def stop(self):
        print "quitting ..."

        # all your code minus self.running


manager = Manager()

signal.signal(signal.SIGHUP, lambda signum, frame: manager.stop())

manager.start()

一个警告是 signal.pause() 将对任何信号取消暂停，因此您可能需要相应地更改代码。

编辑：

以下内容对我来说效果很好：

import daemon
import signal
import time

class Manager:
    """
    This manager starts the http server processes and worker
    processes, creates the input/output queues that keep the processes
    work together nicely.
    """
    def __init__(self):
        self.NUMBER_OF_PROCESSES = 5

    def start(self):

       # all your code minus the loop

       print "waiting to die"
       self.running = 1
       while self.running:
           time.sleep(1)

       print "quit"



    def stop(self):
        print "quitting ..."

        # all your code minus self.running

        self.running = 0


manager = Manager()

context = daemon.DaemonContext()
context.signal_map = {signal.SIGHUP : lambda signum, frame: manager.stop()}

context.open()
manager.start()

您使用的是哪个版本的Python？