SGE - QSUB 无法在同步模式下提交作业

Question

我有一个 perl 脚本，它准备文件以输入到二进制程序，并将二进制程序的执行提交到 SGE 排队系统版本 6.2u2。

使用 -sync y 选项提交作业，以允许父 Perl 脚本能够使用 waitpid 函数监视已提交作业的状态。

这也非常有用，因为向父 perl 脚本发送 SIGTERM 会将此信号传播到每个子脚本，然后子脚本将此信号转发到 qsub，从而优雅地终止所有关联的已提交作业。

因此，能够使用此 -sync y 选项提交作业是相当重要的。

不幸的是，我不断收到以下错误：

由于错误而无法初始化环境：range_list 不包含任何元素

请注意“containes”的拼写不正确。这不是拼写错误。它只是向您展示了代码/错误消息的这个区域的维护有多差。

产生此错误的尝试提交甚至无法生成 STDOUT 和 STDERR 文件 *.e{JOBID} 和 *.o{JOBID}。提交完全失败。

在谷歌上搜索此错误消息只会导致在模糊的留言板上出现未解决的帖子。

这个错误甚至不会可靠地发生。我可以重新运行我的脚本，相同的作业不一定会生成错误。我尝试从哪个节点提交作业似乎也并不重要。

我希望这里有人能解决这个问题。

因此，回答这些问题中的任何一个都可以解决我的问题：

1. 此错误在最新版本的 SGE 中是否仍然存在？
2. 我可以更改 qsub 的命令行选项来避免这种情况吗？
3. 这个错误信息到底在说什么？

Answer 1

我们的网站在 SGE 6.2u5 中遇到了这个问题。我已经在邮件列表中发布了一些问题，但没有解决方案。到目前为止。

事实证明，该错误消息是伪造的。我通过阅读 Univa github“open-core”存储库上的更改日志发现了这一点。我后来看到Son Of Gridengine v8.0.0c Release Notes中提到的问题。

以下是 github 存储库中的相关提交：

• https://github.com/gridengine/gridengine/commit/b449607972614e4608272d8c0fc6f109d35fbe抄送
• https://github.com/gridengine/gridengine/commit/a47c32f965111554ec076db1526a6ad62c5bdae5

错误消息应该是什么 表示您已达到系统中 qsubsync -y 作业数量的限制。此参数称为 MAX_DYN_EC。我们版本中的默认值是 99，上面的更改将该默认值增加到 1000。

MAX_DYN_EC 的定义（来自 sge_conf(5) 手册页）是：

设置动态事件客户端的最大数量（由 qsub -sync 使用）
y 和 Grid Engine DRMAA API 库会话）。默认已设置
到 99。动态事件客户端的数量不应更大
超过系统拥有的文件描述符数量的一半。数量
文件描述符的数量在所有 exec 的连接之间共享
qmaster 需要的主机、所有事件客户端和文件句柄。

您可以使用以下命令检查有多少个动态事件客户端：

$ qconf -secl | grep qsub | wc -l

我们已通过 qconf -mconf 将 MAX_DYN_EC=1000 添加到 qmaster_params。我已经测试过提交数百个 qsub -sync y 作业，并且我们不再遇到 range_list 错误。在 MAX_DYN_EC 更改之前，这样做会可靠地触发错误。

Answer 2

我找到了这个问题的解决方案 - 或者至少是一个解决方法。

我的目标是让 qsub 的各个实例保留在前台，因为它提交的作业仍在队列中或正在运行。这是通过 -sync 选项实现的，但导致了我在问题中描述的可怕的不可预测的错误。

此问题的解决方案是使用带有 now -n 选项的 qrsh 命令。这会导致作业的行为类似于 qsub -sync，因为我的脚本可以通过在 qrsh 实例上使用 waitpid 来隐式监视提交的作业是否正在运行。

此解决方案的唯一警告是，您正在操作的队列不得对交互式节点（由 qrsh 提供）和非交互式节点（可通过 qsub 访问）进行区分）。如果存在区别（交互节点可能比非交互节点少），那么此解决方法可能没有帮助。

然而，由于我还没有找到任何与 qsub -sync 问题类似的解决方案，所以让这篇文章通过互联网传播给任何陷入我类似情况的任性灵魂。