为什么我必须将 .wait() 与 python 的子进程模块一起使用？

Question

我正在 Linux 上通过 Python 中的子进程模块运行 Perl 脚本。使用变量输入多次调用运行脚本的函数。

def script_runner(variable_input):

    out_file = open('out_' + variable_input, 'wt')
    error_file = open('error_' + variable_input, 'wt')

    process = subprocess.Popen(['perl', 'script', 'options'], shell=False,
                           stdout=out_file, stderr=error_file)

但是，如果我运行此函数（例如两次），则当第二个进程启动时，第一个进程的执行将停止。 添加来获得我想要的行为

process.wait()

我可以通过在调用脚本后 ，所以我并没有真正陷入困境。但是，我想找出为什么我不能根据需要多次使用子进程运行脚本，并且让脚本并行进行这些计算，而不必在每次运行之间等待它完成。

更新

罪魁祸首并不是那么令人兴奋：perl 脚本使用了一个为每次执行而重写的公共文件。

然而，我从中学到的教训是，一旦进程开始运行，垃圾收集器就不会删除该进程，因为一旦我整理好它，这对我的脚本没有任何影响。

Answer 1

如果您使用 Unix，并且希望在后台运行多个进程，您可以这样使用 subprocess.Popen：

x_fork_many.py:

import subprocess
import os
import sys
import time
import random
import gc  # This is just to test the hypothesis that garbage collection of p=Popen() causing the problem.

# This spawns many (3) children in quick succession
# and then reports as each child finishes.
if __name__=='__main__':
    N=3
    if len(sys.argv)>1:
        x=random.randint(1,10)
        print('{p} sleeping for {x} sec'.format(p=os.getpid(),x=x))
        time.sleep(x)
    else:
        for script in xrange(N): 
            args=['test.py','sleep'] 
            p = subprocess.Popen(args)
        gc.collect()
        for i in range(N):
            pid,retval=os.wait()
            print('{p} finished'.format(p=pid))

输出看起来像这样：

% x_fork_many.py 
15562 sleeping for 10 sec
15563 sleeping for 5 sec
15564 sleeping for 6 sec
15563 finished
15564 finished
15562 finished

我不知道为什么你当不调用 .wait() 时，会出现奇怪的行为。然而，上面的脚本表明（至少在unix上）没有必要将subprocess.Popen(...)进程保存在列表或集合中。无论问题是什么，我认为这与垃圾收集无关。

附言。也许您的 Perl 脚本在某种程度上存在冲突，导致一个脚本在另一个脚本运行时以错误结束。您是否尝试过从命令行启动对 perl 脚本的多次调用？

Answer 2

您必须调用 wait() 才能要求“等待”popen 的结束。

当 popen 在后台执行 perl 脚本时，如果您不 wait()，它将在对象“process”生命周期结束时停止......即在 script_runner 结束时。

Answer 3

正如 ericdupo 所说，任务被终止是因为您用新的 Popen 对象覆盖了您的 process 变量，并且因为不再引用之前的 Popen< /code> 对象，它被垃圾收集器销毁。您可以通过在某个地方（例如列表）保留对对象的引用来防止这种情况：

processes = []
def script_runner(variable_input):

    out_file = open('out_' + variable_input, 'wt')
    error_file = open('error_' + variable_input, 'wt')

    process = subprocess.Popen(['perl', 'script', 'options'], shell=False,
                           stdout=out_file, stderr=error_file)
    processes.append(process)

这应该足以防止您之前的 Popen 对象被销毁

Answer 4

我认为你想要这样做，

list_process = []
def script_runner(variable_input):

    out_file = open('out_' + variable_input, 'wt')
    error_file = open('error_' + variable_input, 'wt')

    process = subprocess.Popen(['perl', 'script', 'options'], shell=False,
                           stdout=out_file, stderr=error_file)
    list_process.append(process)
#call several times script_runner
for process in list_process:
    process.wait()

你的进程将并行运行