shell=True 的 python 子进程：重定向和平台无关的子进程终止

Question

我很难从 python 子进程模块中获得我想要的东西（据我所知，它应该是一个统一/平台独立的抽象，但不要让我开始:)）。

所以我所追求的简单的事情如下。我想

• 启动一个外部（stdio）应用程序（可能带有子进程），我在其中使用 shell 样式重定向（如“./myapp > stdout_log > stderr_log”）
  • 基本上我想执行 shell 命令行，所以我必须为 subprocess.Popen() 指定 shell=True （否则命令行中的重定向将不起作用）< /里> 基本上我想执行 shell 命令行，所以
• 我想以异步方式启动此命令行（因此它作为独立的子进程运行，但我的 python 进程不会等待它完成）
• （我的父 python 进程会不时查看子进程的日志提取信息，但这与问题无关）
• 如果我的父python进程决定，它应该能够终止这个子进程。

现在，我的主要问题是

• 我基本上被迫使用 shell=True，以获得重定向工作
• 在父 python 进程中处理子进程的 stdout/stderr 不是一个选项，因为我不能'找不到以非等待方式执行此操作的功能（并且父 python 进程必须在子进程运行时执行其他操作）
• 如果我使用 shell=True 则子进程.kill() 只会终止 shell，但不会终止子进程
• 我需要一个可靠的子进程终止方法，可以在任何平台上工作（但至少是 Linux 和 Windows）

我希望我足够具体。感谢您提前提供任何提示/提示——我刚刚花了一整天的时间来处理子流程，恕我直言，它远非平台独立或简单:(但也许只是我一个人)

更新( 2010-10-13）：

如果启动一个子进程（即使 shell=False），那么 subprocess.Popen.kill() 函数只会杀死该子进程（因此，如果有任何“孙子”进程，它们不会被终止。）

我读到了有关使用 preexec_fn 参数在所有子进程上设置 sid 的内容，但它仅限于 UNIX： 使子进程超时

Answer 1

一次解决一个问题：

我基本上被迫使用 shell=True 来使重定向正常工作

您不能只使用 stdout 和 stderr 参数？

out_log = open("stdout_log", "w")
err_log = open("stderr_log", "w")
subproc = subprocess.popen(..., stdout=out_log, stderr=err_log, ...)

在父 python 进程中处理子进程的 stdout/stderr 不是一个选项，因为我找不到以非等待方式执行此操作的功能（并且父 python 进程必须在子进程运行时执行其他操作） ）

这是因为Windows。在 Unix 类型的操作系统上，您只需使用 select 模块。 Windows 只能在套接字上select，而不能在文件上select。

如果我使用 shell=True 那么 subprocess.kill() 只会终止 shell，但不会终止子进程

因为当 shell=True 时，shell 是子进程，并且命令是它的子项。

我需要一个可靠的子进程终止方法，该方法适用于任何平台（但至少是 Linux 和 Windows）

Windows是否存在可靠的子进程终止方法？最后我听说，即使任务管理器的结束任务也不是 100% 可靠。在 Linux 中，您可能无法终止通过崩溃的驱动程序打开文件的进程。

正如 Stigma 所说，对于 Windows 支持，您需要使用线程作为子进程代理。另外，您应该尝试使用 shell=False 运行，如果不能，请详细说明原因。

Answer 2

上次我遇到类似的情况时，我发现最简单（实际上是唯一）的解决方案是启动一个负责子进程的线程。您可以使用此方法采取不同的路线，无论是解析 shell 样式命令的管道并在 python 代码中执行这些命令（您所说的由于阻塞而不是一个选项），这将同时修复您的问题杀人问题。基本上，线程封装似乎是可行的方法。

遗憾的是，我对 subprocess 的体验都是在 Windows 平台上进行的，该平台有很多自己的小怪癖。 subprocess 似乎有很多缺陷，尽管考虑到 popen、popen2 等的存在，它必须做得还不错。其应该替换的模块。

Answer 3

我最近也遇到了类似的情况，我创建了一个使用 shell=True 的 python 子进程，稍后需要将其杀死。然而，由于 shell 参数，“真实”进程是 shell 的子进程，即主进程的孙进程。杀死子 shell 并不会自动杀死孙 shell。

在我的顶级 python 脚本中：

childProcess = subprocess.Popen('python other.py', shell=True)

为了杀死 shell 和“真正工作”的孙子，我这样做了：

subprocess.call("ps -ef | awk '$3 == \"" + str(childProcess.pid) + "\" {print $2}' | xargs kill -9", shell=True)
childProcess.kill()

第一行杀死子进程的所有子进程（基于 ps -ef 出身， 有趣的是，第二行杀死了子进程，

这在 Ubuntu 上是必要的，但在 Mac OSX 上并不是绝对必要的，因为在 Mac 上孙子似乎接管了原始的子 shell 进程 ID。

Answer 4

回答一些问题：

• 如果您想处理作为子进程一部分运行的命令的标准输出和输入，则必须使用“shell = true”

• 具体解决方案可能取决于您想要执行的操作。然而，对于处理长时间运行的命令的输出，有一些有用的解决方案

  • 你可以使用 poll，看看 SO 讨论：使用子进程获取实时输出
  • 查看以下内容以了解与子流程的异步交互：http: //code.activestate.com/recipes/576957-asynchronous-subprocess-using-asyncore/
  • 子进程的以下增强还可以允许异步操作：http://code.google。 com/p/subprocdev/
  • http://pypi.python.org/pypi/drainers/0.0.3
  • 关于SO的其他有用讨论：具有超时和大输出的python子进程(>64K)
  • 按照建议，您可以与线程结合

• Popen 实例提供一个 pid 属性，其中子进程的进程 id 为 shell=True。您应该能够收集命令 pid 并将其与 os.kill() 一起使用

-