在儿童过程中使用stdin

Question

因此，我有一个程序，在“主要”过程中，我启动了一个新的进程对象，该对象（我想要的）是从stdin中读取行，并将它们附加到queue对象。

从本质上讲，基本系统设置是有一个“命令获取”进程，用户将输入命令/查询，我需要将这些查询获取到在单独的过程中运行的其他子系统。我的想法是通过多处理。Suqueue共享其他系统可以从中读取的。

我拥有的（仅关注获取命令/查询）基本上是：

def sub_proc(q):
    some_str = ""
    while True:
        some_str = raw_input("> ")
        if some_str.lower() == "quit":
            return
        q.put_nowait(some_str)

if __name__ == "__main__":
    q = Queue()
    qproc = Process(target=sub_proc, args=(q,))
    qproc.start()
    qproc.join()

    # now at this point q should contain all the strings entered by the user

问题是我得到的：

Process Process-1:
Traceback (most recent call last):
  File "/usr/lib/python2.7/multiprocessing/process.py", line 258, in _bootstrap
    self.run()
  File "/usr/lib/python2.7/multiprocessing/process.py", line 114, in run
    self._target(*self._args, **self._kwargs)
  File "/home/blah/blah/blah/blah.py", line 325, in sub_proc
    some_str = raw_input("> ")
  File "/randompathhere/eclipse/plugins/org.python.pydev_2.1.0.2011052613/PySrc/pydev_sitecustomize/sitecustomize.py", line 181, in raw_input
    ret = original_raw_input(prompt)
EOFError: EOF when reading a line

如何？

Answer 1

我通过将原始的stdin文件描述符传递给子过程并在此处重新打开的问题来解决了一个类似的问题。

def sub_proc(q,fileno):
    sys.stdin = os.fdopen(fileno)  #open stdin in this process
    some_str = ""
    while True:
        some_str = raw_input("> ")

        if some_str.lower() == "quit":
            return
        q.put_nowait(some_str)

if __name__ == "__main__":
    q = Queue()
    fn = sys.stdin.fileno() #get original file descriptor
    qproc = Process(target=sub_proc, args=(q,fn))
    qproc.start()
    qproc.join()

这适用于我相对简单的情况。我什至能够在重新开放的流中使用Readline模块。我不知道它对于更复杂的系统有多稳健。

Answer 2

简而言之，主过程和您的第二个过程没有共享相同的stdin。

from multiprocessing import Process, Queue
import sys

def sub_proc():
    print sys.stdin.fileno()

if __name__ == "__main__":
    print sys.stdin.fileno()
    qproc = Process(target=sub_proc)
    qproc.start()
    qproc.join()

运行它，您应该为sys.stdin.fileno（）（

不幸的是，这都无法解决问题。你想做什么？

Answer 3

如果您不想将stdin传递到目标过程功能，例如在 @ashelly的答案中，或者只需要在许多不同的过程中进行操作，则可以通过initializer使用Multiprocessing.pool进行操作。参数：

import os, sys, multiprocessing

def square(num=None):
    if not num:
        num = int(raw_input('square what? ')) 
    return num ** 2

def initialize(fd):
    sys.stdin = os.fdopen(fd)

initargs = [sys.stdin.fileno()]
pool = multiprocessing.Pool(initializer=initialize, initargs=initargs)
pool.apply(square, [3])
pool.apply(square)

上面的示例将打印数字9，然后打印输入提示，然后打印输入号码的平方。

请注意不要同时从同一描述符中读取多个子过程，否则可能会变得困惑。

Answer 4

您可以使用螺纹并将其全部保持在相同的过程中：

from multiprocessing import Queue
from Queue import Empty
from threading import Thread

def sub_proc(q):
    some_str = ""
    while True:
        some_str = raw_input("> ")
        if some_str.lower() == "quit":
            return
        q.put_nowait(some_str)

if __name__ == "__main__":
    q = Queue()
    qproc = Thread(target=sub_proc, args=(q,))
    qproc.start()
    qproc.join()

    while True:
        try:
            print q.get(False)
        except Empty:
            break