以 qsub 启动的 shell 脚本的参数

Question

如何参数化在网格上执行的 shell 脚本（以 qsub 开头）？我有一个 shell 脚本，我使用 getopts 来读取参数。

当我使用 qsub 启动 (qsub script.sh -r firstparam -s secondaryparam ..) 这个工作脚本时，我收到错误消息，

qsub：无效选项 -- s

qsub：非法的 -r 值

因为 qsub 认为该参数是针对其自身的。但我还没有找到任何解决方案。

谢谢

Answer 1

使用 qsub -v 选项是正确的方法：

qsub -v par_name=par_value[,par_name=par_value...] script.sh

par_name 可以用作 shell 脚本中的变量。

Answer 2

除了 volk 的答案之外，为了引用列表中的变量（由 -v 指定），您只需使用您在调用中定义的名称即可。因此，假设您按如下方式调用了 qsub

-v foo='qux' myRunScript.sh

那么 myRunScript.sh 可能如下所示：

#!/bin/bash
#PBS -l nodes=1:ppn=16,walltime=0:00:59
#PBS -l mem=62000mb
#PBS -m abe

bar=${foo}
echo "${bar}"

qsub 希望

qux

这有帮助！

Answer 3

我刚刚想出了如何解决它：只需使用 echo 打印 shell scrip 的命令并将结果通过管道传输到 qsub：

echo "./script.sh var1=13 var2=24" | qsub

Answer 4

有更好的方法......

我真的很惊讶这个问题已经持续了多久没有一个好的答案。可能是没有指定qsub的具体版本。 qsub 至少存在于 Torque 和 Sun Grid Engine 中，也许还存在于其他调度程序中。因此，了解您正在使用哪个非常重要。我将在这里讨论一些：

扭矩：qsub -F;命令

手册页
这是我通常如何使用它的示例。从这个示例脚本开始，它只回显传递给它的任何参数：

$ cat testArgs.pbs
#!/usr/bin/env bash

echo $@

我将像这样提交作业：

$ qsub -F "--here are the --args" testArgs.pbs
3883919.pnap-mgt1.cm.cluster

这就是运行后输出文件的样子：

$ cat testArgs.pbs.o3883919
--here are the --args

Sun Grid Engine：qsub command [command_args]

手册页
您只需在命令后面添加参数，就像在 shell 中执行时一样。我没有在任何地方运行 SGE，因此没有这方面的示例。但Slurm也是一样，在

Slurm下面： sbatch command [ command_args ]

man页面
在这里，我提交了与上面的 Torque 示例相同的脚本：

$ sbatch testArgs.sh what the heck
Submitted batch job 104331

结果：

$ cat slurm-104331.out
what the heck

导出环境变量 != 传递参数

导出环境变量与将参数传递给命令有很大不同。
这里对差异进行了很好的讨论。

qsub 答案首先推荐-v。需要明确的是，-v 导出环境变量，-F 将参数传递给命令。

我通常更喜欢通过允许参数来参数化我的脚本。事实上，我想说，使用这样的脚本 process_data.sh --threads 8 比使用 export THREADS=8; 这样的脚本更常见。 process_data.sh。