“shell=True”的实际含义在子流程中

Question

我使用 subprocess 模块调用不同的进程。不过，我有一个问题。

在以下代码中：

callProcess = subprocess.Popen(['ls', '-l'], shell=True)

和

callProcess = subprocess.Popen(['ls', '-l']) # without shell

两者都有效。阅读文档后，我知道 shell=True 意味着通过 shell 执行代码。这意味着在缺席的情况下，该过程会直接启动。

那么对于我的情况我应该选择什么 - 我需要运行一个进程并获取其输出。从 shell 内部或外部调用它有什么好处？

Answer 1

不通过 shell 调用的好处是您不会调用“神秘程序”。在 POSIX 上，环境变量 SHELL 控制哪个二进制文件被作为“shell”调用。在 Windows 上，没有 bourne shell 后代，只有 cmd.exe。

因此，调用 shell 会调用用户选择的程序，并且与平台相关。一般来说，避免通过 shell 进行调用。

通过 shell 调用确实允许您根据 shell 的常用机制扩展环境变量和文件全局变量。在 POSIX 系统上，shell 将文件全局扩展为文件列表。在 Windows 上，无论如何，shell 都不会扩展文件 glob（例如，“*.*”）（但命令行上的环境变量由 cmd.exe 扩展）。

如果您认为需要环境变量扩展和文件全局，请研究 1992 年左右针对通过 shell 执行子程序调用的网络服务的 ILS 攻击。示例包括涉及 ILS 的各种 sendmail 后门。

总之，使用shell=False。

Answer 2

>>> import subprocess
>>> subprocess.call('echo $HOME')
Traceback (most recent call last):
...
OSError: [Errno 2] No such file or directory
>>>
>>> subprocess.call('echo $HOME', shell=True)
/user/khong
0

将 shell 参数设置为 true 值会导致子进程生成一个中间 shell 进程，并告诉它运行命令。换句话说，使用中间 shell 意味着在命令运行之前处理命令字符串中的变量、glob 模式和其他特殊 shell 功能。在此示例中，$HOME 在 echo 命令之前被处理。实际上，这是带有 shell 扩展的命令的情况，而命令 ls -l 被视为简单命令。

来源： 子流程模块

Answer 3

此处显示了 Shell=True 可能出现问题的示例

>>> from subprocess import call
>>> filename = input("What file would you like to display?\n")
What file would you like to display?
non_existent; rm -rf / # THIS WILL DELETE EVERYTHING IN ROOT PARTITION!!!
>>> call("cat " + filename, shell=True) # Uh-oh. This will end badly...

在此处查看文档： subprocess .call()

Answer 4

通过 shell 执行程序意味着传递给程序的所有用户输入都会根据调用的 shell 的语法和语义规则进行解释。充其量，这只会给用户带来不便，因为用户必须遵守这些规则。例如，包含特殊 shell 字符（如引号或空格）的路径必须进行转义。最坏的情况是，它会导致安全漏洞，因为用户可以执行任意程序。

shell=True 有时可以方便地使用特定的 shell 功能，例如分词或参数扩展。但是，如果需要这样的功能，请使用为您提供的其他模块（例如用于参数扩展的 os.path.expandvars() 或用于分词的 shlex ） 。这意味着更多的工作，但可以避免其他问题。

简而言之：无论如何都要避免 shell=True 。

Answer 5

这里的其他答案充分解释了 subprocess 文档中也提到的安全警告。但除此之外，启动 shell 来启动您想要运行的程序的开销通常是不必要的，并且对于您实际上不使用 shell 的任何功能的情况来说绝对是愚蠢的。此外，额外的隐藏复杂性会让您感到害怕，尤其如果您不太熟悉 shell 或其提供的服务。

在与 shell 的交互非常重要的情况下，您现在需要 Python 脚本的读者和维护者（可能是也可能不是您未来的自己）来理解 Python 和 shell 脚本。请记住 Python 座右铭“显式优于隐式”；即使 Python 代码比等效（通常非常简洁）的 shell 脚本更复杂，您最好还是删除shell 并用本机 Python 结构替换功能。最大限度地减少外部流程中完成的工作并尽可能在自己的代码中保持控制通常是一个好主意，因为它提高了可见性并降低了（想要的或不需要的）副作用的风险。

通配符扩展、变量插值和重定向都很容易用本机 Python 结构替换。在复杂的 shell 管道中，部分或全部无法用 Python 合理重写的情况是您可能可以考虑使用 shell 的一种情况。您仍然应该确保您了解性能和安全影响。

在这种情况下，为了避免 shell=True，只需替换

subprocess.Popen("command -with -options 'like this' and\\ an\\ argument", shell=True)

为

subprocess.Popen(['command', '-with','-options', 'like this', 'and an argument'])

注意第一个参数是如何传递给 execvp() 的字符串列表，以及如何引用字符串和反斜杠转义 shell 元字符通常是不必要的（或有用的，或正确的）。
也许还可以看到 何时在 shell 变量周围加上引号？

如果您不想自己解决这个问题，shlex.split() 函数可以为您完成此操作。它是 Python 标准库的一部分，但当然，如果您的 shell 命令字符串是静态的，您可以在开发过程中运行一次，然后将结果粘贴到脚本中。

顺便说一句，如果 subprocess 包中的一个更简单的包装器满足您的要求，您通常希望避免 Popen。如果您有足够新的 Python，您可能应该使用 subprocess。运行。

• 使用 check=True 如果您运行的命令失败，它将失败。
• 使用 stdout=subprocess.PIPE 它将捕获命令的输出。
• 使用 text=True （或者有点模糊，使用同义词 universal_newlines=True），它将把输出解码为正确的 Unicode 字符串（它只是 bytes否则在系统编码中，在 Python 3 上）。

如果没有，对于许多任务，您需要 check_output 获取命令的输出，同时检查命令是否成功，或 check_call 如果没有要收集的输出。

我将引用 David Korn 的一句话来结束：“编写可移植 shell 比编写可移植 shell 脚本更容易。”甚至 subprocess.run('echo "$HOME"', shell=True) 也无法移植到 Windows。

Answer 6

上面的 Anwser 解释得正确，但不够直接。
让我们使用 ps 命令看看会发生什么。

import time
import subprocess

s = subprocess.Popen(["sleep 100"], shell=True)
print("start")
print(s.pid)
time.sleep(5)
s.kill()
print("finish")

运行它，并显示

start
832758
finish

您可以使用 ps -auxf > 1 在 finish 之前，然后 ps -auxf > 2完成后。这是输出

1

cy         71209  0.0  0.0   9184  4580 pts/6    Ss   Oct20   0:00  |       \_ /bin/bash
cy        832757  0.2  0.0  13324  9600 pts/6    S+   19:31   0:00  |       |   \_ python /home/cy/Desktop/test.py
cy        832758  0.0  0.0   2616   612 pts/6    S+   19:31   0:00  |       |       \_ /bin/sh -c sleep 100
cy        832759  0.0  0.0   5448   532 pts/6    S+   19:31   0:00  |       |           \_ sleep 100

看到了吗？而不是直接运行 sleep 100。它实际上运行/bin/sh。而它打印出来的pid实际上是/bin/sh的pid。如果您调用 s.kill() 后，它会杀死 /bin/sh 但 sleep 仍然存在。

2

cy         69369  0.0  0.0 533764  8160 ?        Ssl  Oct20   0:12  \_ /usr/libexec/xdg-desktop-portal
cy         69411  0.0  0.0 491652 14856 ?        Ssl  Oct20   0:04  \_ /usr/libexec/xdg-desktop-portal-gtk
cy        832646  0.0  0.0   5448   596 pts/6    S    19:30   0:00  \_ sleep 100

那么下一个问题是，/bin/sh 能做什么？每个 Linux 用户都知道它、听过它、使用过它。但我敢打赌，确实有很多人并不真正理解 shell 是什么。也许您还听说过 /bin/bash，它们很相似。

shell的一个显着功能就是方便用户运行linux应用程序。由于有sh或bash等shell程序，您可以直接使用ls等命令，而不是/usr/bin/ls代码>.它会搜索 ls 所在位置并为您运行它。

另一个功能是将 $ 后面的字符串解释为环境变量。你可以比较这两个Python脚本来自己找出答案。

subprocess.call(["echo $PATH"], shell=True)

subprocess.call(["echo", "$PATH"])

最重要的是，它可以将 Linux 命令作为脚本运行。如if else都是shell引入的。这不是原生 Linux 命令

Answer 7

假设您使用 shell=False 并以列表形式提供命令。一些恶意用户尝试注入“rm”命令。
您将看到，“rm”将被解释为参数，并且实际上“ls”将尝试查找名为“rm”的文件。

>>> subprocess.run(['ls','-ld','/home','rm','/etc/passwd'])
ls: rm: No such file or directory
-rw-r--r--    1 root     root          1172 May 28  2020 /etc/passwd
drwxr-xr-x    2 root     root          4096 May 29  2020 /home
CompletedProcess(args=['ls', '-ld', '/home', 'rm', '/etc/passwd'], returncode=1)

如果您没有正确控制输入，默认情况下 shell=False 不是安全的。您仍然可以执行危险的命令。

>>> subprocess.run(['rm','-rf','/home'])
CompletedProcess(args=['rm', '-rf', '/home'], returncode=0)
>>> subprocess.run(['ls','-ld','/home'])
ls: /home: No such file or directory
CompletedProcess(args=['ls', '-ld', '/home'], returncode=1)
>>>

我在容器环境中编写大部分应用程序，我知道正在调用哪个 shell，并且我不接受任何用户输入。

因此，在我的用例中，我认为没有安全风险。创建长串命令要容易得多。希望我没有说错。