Python程序使用os.pipe和os.fork()问题

发布于 2024-07-20 04:24:44 字数 648 浏览 3 评论 0原文

我最近需要编写一个脚本来执行 os.fork() 分成两个进程。子进程成为服务器进程，并使用 os.pipe() 创建的管道将数据传递回父进程。像往常一样，子级关闭管道的 'r' 端，父级关闭管道的 'w' 端。我使用 os.fdopen 将 pipeline() 的返回值转换为文件对象。

我遇到的问题是：进程成功分叉，并且子进程成为服务器。一切都很好，孩子尽职尽责地将数据写入管道的开放 'w' 端。不幸的是，管道的父端做了两件奇怪的事情：
A) 它会阻塞管道 'r' 端的 read() 操作。
其次，除非 'w' 端完全关闭，否则它无法读取放置在管道上的任何数据。

我立即认为缓冲是问题所在，并添加了 pipe.flush() 调用，但这些没有帮助。

谁能解释一下为什么在写入端完全关闭之前数据不会出现？是否有策略使 read() 调用非阻塞？

这是我的第一个分叉或使用管道的 Python 程序，所以如果我犯了一个简单的错误，请原谅我。

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

舂唻埖巳落 2024-07-27 04:24:44

您是否使用 read() 而不指定大小，或将管道视为迭代器（for line in f）？如果是这样，这可能是问题的根源 - read() 被定义为在返回之前读取直到文件末尾，而不是只读取可读取的内容。这意味着它将阻塞，直到子进程调用 close()。

在链接到的示例代码中，这是可以的 - 父级以阻塞方式运行，并且仅使用子级来实现隔离目的。如果您想继续，则可以像您发布的代码中那样使用非阻塞 IO（但要准备好处理半完整的数据），或者分块读取（例如 r.read(size) 或 r.readline() ），它只会阻塞，直到读取特定大小/行。（您仍然需要对子级调用刷新）

看起来将管道视为迭代器也使用了一些进一步的缓冲区，因为“for line in r:”可能不会给您什么如果您需要立即消耗每一行。也许可以禁用此功能，但仅在 fdopen 中为缓冲区大小指定 0 似乎还不够。

这是一些应该有效的示例代码：

import os, sys, time

r,w=os.pipe()
r,w=os.fdopen(r,'r',0), os.fdopen(w,'w',0)

pid = os.fork()
if pid:          # Parent
    w.close()
    while 1:
        data=r.readline()
        if not data: break
        print "parent read: " + data.strip()
else:           # Child
    r.close()
    for i in range(10):
        print >>w, "line %s" % i
        w.flush()
        time.sleep(1)

Are you using read() without specifying a size, or treating the pipe as an iterator (for line in f)? If so, that's probably the source of your problem - read() is defined to read until the end of the file before returning, rather than just read what is available for reading. That will mean it will block until the child calls close().

In the example code linked to, this is OK - the parent is acting in a blocking manner, and just using the child for isolation purposes. If you want to continue, then either use non-blocking IO as in the code you posted (but be prepared to deal with half-complete data), or read in chunks (eg r.read(size) or r.readline()) which will block only until a specific size / line has been read. (you'll still need to call flush on the child)

It looks like treating the pipe as an iterator is using some further buffer as well, for "for line in r:" may not give you what you want if you need each line to be immediately consumed. It may be possible to disable this, but just specifying 0 for the buffer size in fdopen doesn't seem sufficient.

Heres some sample code that should work:

import os, sys, time

r,w=os.pipe()
r,w=os.fdopen(r,'r',0), os.fdopen(w,'w',0)

pid = os.fork()
if pid:          # Parent
    w.close()
    while 1:
        data=r.readline()
        if not data: break
        print "parent read: " + data.strip()
else:           # Child
    r.close()
    for i in range(10):
        print >>w, "line %s" % i
        w.flush()
        time.sleep(1)

回复收藏 0 原文