通过 SLURM 连续运行多个文件，并设置单独的超时

Question

我有一个在 HPC 上运行的 python 脚本，它获取文本文件中的文件列表并启动多个 SBATCH 运行：

./launch_job.sh 0_folder_file_list.txt

launch_job.sh 遍历 0_folder_file_list.txt 并为每个文件启动一个 SBATCH

SAMPLE_LIST=`cut -d "." -f 1 $1`

for SAMPLE in $SAMPLE_LIST
do
  echo "Getting accessions from $SAMPLE"
  sbatch get_acc.slurm $SAMPLE
  #./get_job.slurm $SAMPLE
done

get_job.slurm 包含我的所有 SBATCH 信息，模块加载等并执行

srun --mpi=pmi2 -n 5 python python_script.py ${SAMPLE}.txt

我不想一次启动所有作业，我希望它们以 24 小时的最大运行时间连续运行。我已经将 SBATCH -t 设置为允许最长时间，但我只希望每个作业最多运行 24 小时。我可以设置一个 srun 参数来完成此任务吗？还有别的事吗？

Answer 1

您可以将 --wait 标志与 sbatch 一起使用。

-W，--等待
在提交的作业终止之前不要退出。 sbatch命令的退出代码将与提交的退出代码相同
工作。如果作业由于信号而不是正常退出而终止，
退出代码将设置为 1。对于作业数组，退出代码
记录的代码将是作业数组中任何任务的最高值。

在您的情况下，

for SAMPLE in $SAMPLE_LIST
do
  echo "Getting accessions from $SAMPLE"
  sbatch --wait get_acc.slurm $SAMPLE
done

因此，只有在第一个 sbatch 完成后（您的作业结束或达到时间限制）才会调用下一个 sbatch 命令。