如何有效地管理这些子流程？

Question

我有一个可以下载然后转换视频的脚本。我试图一次完成所有下载（很多 wget），然后在完成后进行转换。现在我必须等待每个文件单独下载，然后在完成后进行转换。我希望所有下载请求同时运行。

这是我的“下载”脚本中阻止一切的部分。

for id  in ids:
    subprocess.Popen(cmd, shell=True).wait()

我的“转换”脚本正在等待下载脚本完成。 （这是必要的，因为我正在使用一组下载来组织所有内容。）

我可以使用队列，但这已经让这变得足够大了，我希望有一个更简单的解决方案。

谢谢

Answer 1

您可以

process_list = []    
for id  in ids:
    process_list.append(subprocess.Popen(cmd, shell=True))
for process in process_list:
    process.wait()

这样使用，您将在同时作业结束时等待。

Answer 2

如果您的平台可用，您可以使用 xargs 作为简单的解决方案。

从手册页来看：

   -P max-procs
          Run  up  to max-procs processes at a time; the default is 1.  If
          max-procs is 0, xargs will run as many processes as possible  at
          a  time.   Use the -n option with -P; otherwise chances are that
          only one exec will be done.

当然有更好的解决方案，但如果您需要一个快速的解决方案，这可能是最容易实现的。