如何运行两个 python 子进程并获取它们的运行时和标准输出、标准错误？

Question

我正在考虑在一台机器上同时运行两个子进程，以便获得准确的运行时间。我正在比较两个版本的软件并对它们运行诊断，例如运行时、输出变化等。

最初，我有一个函数在同一输入文件上使用两个版本的软件，并且每个输出到不同的位置。新旧版本是通过 argparser 获取的。该函数对每个软件命令使用一个子进程，然后通过 .communicate() 获取输出。但我知道 .communicate() 等待进程完成，理想情况下我想同时在两个进程上使用 .communicate() ，以便它们同时启动，并且是定时的，并且每当只要我知道他们的运行时间。

更简洁地说，我的问题是如何运行两个子进程，每个子进程单独运行并同时启动。然后获取它们的运行时和标准输出、标准错误？

这是我的函数的一个简单示例（假设我在某些文件上测试 java 的速度）：

def test():
    # Get start time        
    before = time.time()
    cmd1 = ['java-1.0', 'blah']
    c1 = subprocess.Popen(cmd1, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
    cmd2 = ['java-1.5', 'blah']
    c2 = subprocess.Popen(cmd2, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
    # Start both processes at the same time??
    results = [c1.communicate(), c2.communicate()]
    # Get total time taken
    total = round(time.time()-before, 2)
    # Print out the total time (I know its messy but its accurate)
    print "%s:%s:%s" % (int(total/60/60), int(total/60), int(total))
    c1.stderr.close()
    c2.stderr.close()
    return results

我想要指出的另一点是我需要它们同时运行，因为如果我在功能强大的远程计算机上运行作业（我将是）然后我需要在运行作业时工作负载相同，以便一个进程不会仅仅因为它在不同的时间运行而更快地完成。

Answer 1

在这种情况下，由于您没有输入可发送到进程，因此不需要使用 Popen.communicate()。 Popen 调用本身会启动该进程，我们不需要 Popen.communicate() 为此。您可以使用 Popen.poll() 来检查进程是否完成，而不是使用 Popen.communicate()。

while True:
    if c1.poll() is not None:
        #Stop c1's timer
    if c2.poll() is not None:
        #Stop c2's timer

如果您想要 stdout 和 stderr，您可以生成 2 个线程，然后使用 Popen.communicate() 并记录时间。

您可以使用这样的东西作为线程：

def time_it(c):
    results.append(c.communicate())
    times.append(time.time())

要生成线程，请调用

results = []
times = []
threading.start_new_thread(time_it,(c1,))
threading.start_new_thread(time_it,(c2,))

Answer 2

如果您想获得准确的运行时间，则需要多次运行测试并查看分布——中值运行时间应该是一个很好的指标。同时运行它们不会帮助您获得更准确的结果。

Answer 3

运行时测试通常在空闲的计算机上进行，并在使用和不使用不同输入文件的情况下重复多次，以了解操作系统缓存的影响。

让两个进程争夺相同的资源不会导致更准确的测量。

加速 Python 程序通常需要使用正确的工具。例如，列表和其他理解通常比循环更快。使用内置函数可能会胜过这一点。一个很好的例子是“优化轶事”。也许最好的优化是不同的算法。

使用 PyPy 代替 CPython 也可能会产生显着的改进。