在 python 脚本中设置 stacksize

Question

我正在将 csh 脚本转换为 python 脚本。该脚本调用内存密集型可执行文件，该可执行文件需要非常大的堆栈，因此 csh 脚本将堆栈大小设置为无限制：

limit stacksize unlimited

当我尝试在 python 中重现此脚本时，我使用 os.csh 以非常幼稚的方式执行它们。 system，例如：

os.system('some_executable')

但我不知道如何告诉操作系统以无限的堆栈大小运行这些可执行文件。有没有办法在 python 脚本中指定调用的堆栈大小？我应该使用一些低级系统调用吗？是否有一个模块（类似于shutil）来控制这个？

Answer 1

我对以下代码有很好的经验。它不需要任何特殊的用户权限：

import resource, sys
resource.setrlimit(resource.RLIMIT_STACK, (2**29,-1))
sys.setrecursionlimit(10**6)

但它似乎不适用于 pypy。

如果 resource.setrlimit 不起作用，您还可以尝试使用线程：

sys.setrecursionlimit(10**6)
import threading
threading.stack_size(2**26)
threading.Thread(target=main).start()

Answer 2

如果需要，您可以使用 shell 的 (u)limit 命令：

os.system('ulimit -s unlimited; some_executable')

或者（可能更好）使用 resource.setrlimit：

resource.setrlimit(resource.RLIMIT_STACK, (resource.RLIM_INFINITY, resource.RLIM_INFINITY))

Answer 3

您正在寻找 Python setrlimit 接口，resource.RLIMIT_STACK。

请注意，标准用户无法提高其硬限制，只有 root（好吧，具有 CAP_SYS_RESOURCE 功能的进程（请参阅功能（7））进程可以提高其限制；因此您可能需要使用 PAM pam_limits (8) limits.conf(5) 文件来提高相关用户的硬限制。

Answer 4

您可以通过 threading.stack_size( )，但我不知道子进程是否会正确继承它。该接口还需要特定的堆栈大小 - “无限”不是一个选项。