生产者/消费者多个生产者和一个消费者写入文件 Python

发布于 2024-12-02 16:16:20 字数 362 浏览 2 评论 0原文

我的要求类似于多个生产者，单个消费者除了我在 python 中需要它之外，

我创建了一个生成 5 个并发进程的应用程序（我正在使用多处理库）。这 5 个进程独立生成 dict 格式的输出。

早些时候我将输出打印到控制台，但现在想将其输出到文件。

我正在寻找一种模式，其中我的 5 个生产者都写入支持并发写入的共享队列。

单个消费者进程也可以访问该队列并使用其中的数据，如果没有数据可写入，则能够等待，并在生产者完成任务时终止。

谢谢阿努杰

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

亂 2024-12-09 16:16:20

由于您已经在使用多进程，因此您需要的只是 Queue 类

和示例（从 Queue 文档修改）

from multiprocessing import Process, Queue

def child(q, url):
    result = my_process(url)
    q.put(result)

if __name__ == '__main__':
    q = Queue()
    urls = [...]
    children = []
    for url in urls:
       p = Process(target=child, args=(q,url))
       p.start()
       children.append(p)
    for p in children:
       p.join()
       print q.get() #or write to file (might not be the answer from this child)

编辑：
对于每个孩子的多个答案，请将最后一个 for 循环替换为：

while 0 != multiprocessing.active_children():
    print q.get()

since you are already using multiprocess, all you need is the Queue class

and a sample (modified from the Queue docs)

from multiprocessing import Process, Queue

def child(q, url):
    result = my_process(url)
    q.put(result)

if __name__ == '__main__':
    q = Queue()
    urls = [...]
    children = []
    for url in urls:
       p = Process(target=child, args=(q,url))
       p.start()
       children.append(p)
    for p in children:
       p.join()
       print q.get() #or write to file (might not be the answer from this child)

Edit:
For multiple answers from each child replace the last for loop with:

while 0 != multiprocessing.active_children():
    print q.get()

回复收藏 0 原文

像你 2024-12-09 16:16:20

我在 Python 中实现了这种模式，其中一个主管进程生成一堆进程，然后使用来自所有进程的日志消息并将这些日志消息写入单个日志文件。

基本上，我使用 execve 来生成进程，并指定每个进程的 stderr 连接到 PTY。然后我的主管打开所有主 PTY 并使用 select 循环读取它们。 PTY 由 tty 行规则进行行缓冲，您可以在它们上使用 readline 进行非阻塞读取。我相信我还在 PTY 上使用了 fcntl 来设置 os.O_NONBLOCK 。

效果很好。唯一的问题是，当您从 select poll 返回时，每个 pty 需要读取不止一行，否则您可能会丢失输出（假设您有一些东西正在获取子进程并重新启动）。通过读取每个 PTY 上可用的所有行，您还可以避免回溯与其他消息交错。

如果您确实需要发送对象而不是文本行，那么您最好使用真正的发布-订阅消息系统，例如 AMQP 或 ZeroMQ。 AMQP 是一把比您需要的大得多的锤子，因此只有在您希望构建大量类似的应用程序时才检查一下。否则，尝试更简单的 0MQ http://www.zeromq.org/intro:read-the -manual 这只是一个消息传递库，使套接字更易于使用。

回复收藏 0 原文

~没有更多了~