配置 Slurm 使其具有比内核更多的 MPI 任务

Question

我正在一组 Raspberry Pi 4 上设置 Slurm。我已成功在 24 RPi 集群上配置和使用 Slurm，并允许每个 RPi 执行 4 个 MPI 任务。因此，如果我对所有节点（-N 24）和所有核心（-n 96）进行 MPI 运行（使用“srun”或“sbatch”（和批处理脚本）），它就会按我的预期工作。

RPi 节点的典型“slurm.conf”行示例如下：

NodeName=foo-001 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN

有 24 个节点条目这种形式。整个分区条目为：

PartitionName=general Nodes=foo-[001-024] Default=YES MaxTime=INFINITE State=UP

我想为每个 RPi 运行 4 个以上 MPI 任务（以测试过载）核心）。我无法设置 Slurm 配置来执行此操作。

我不想每个 MPI 任务有多个线程。我希望能够设置 Slurm，以便每个节点允许 8 或 16 个 MPI 任务，总共分别有 192 或 384 个 MPI 任务。

这是我的整体“slurm.conf”文件：

# slurm.conf file generated by configurator easy.html.
# Put this file on all nodes of your cluster.
# See the slurm.conf man page for more information.
#
SlurmctldHost=foo-001
#
#MailProg=/bin/mail
MpiDefault=none
#MpiParams=ports=#-#
ProctrackType=proctrack/cgroup
ReturnToService=1
SlurmctldPidFile=/run/slurmctld.pid
#SlurmctldPort=6817
SlurmdPidFile=/run/slurmd.pid
#SlurmdPort=6818
SlurmdSpoolDir=/var/lib/slurm-llnl/slurmd
SlurmUser=slurm
#SlurmdUser=root
StateSaveLocation=/var/lib/slurm-llnl/slurmctld
SwitchType=switch/none
TaskPlugin=task/affinity
#
#
# TIMERS
#KillWait=30
#MinJobAge=300
#SlurmctldTimeout=120
#SlurmdTimeout=300
#
#
# SCHEDULING
FastSchedule=1
SchedulerType=sched/backfill
SelectType=select/cons_res
SelectTypeParameters=CR_Core
#
#
# LOGGING AND ACCOUNTING
AccountingStorageType=accounting_storage/none
ClusterName=tjl-pi-pharm
#JobAcctGatherFrequency=30
JobAcctGatherType=jobacct_gather/none
#SlurmctldDebug=info
SlurmctldLogFile=/var/log/slurm-llnl/slurmctld.log
#SlurmdDebug=info
SlurmdLogFile=/var/log/slurm-llnl/slurmd.log
#
#
# ARRAY LIMITS
MaxArraySize=100000
MaxJobCount=1000000
#
#
# COMPUTE NODES
NodeName=foo-001 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
NodeName=foo-002 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
NodeName=foo-003 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
NodeName=foo-004 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
NodeName=foo-005 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
NodeName=foo-006 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
NodeName=foo-007 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
NodeName=foo-008 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
NodeName=foo-009 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
NodeName=foo-010 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
NodeName=foo-011 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
NodeName=foo-012 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
NodeName=foo-013 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
NodeName=foo-014 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
NodeName=foo-015 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
NodeName=foo-016 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
NodeName=foo-017 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
NodeName=foo-018 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
NodeName=foo-019 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
NodeName=foo-020 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
NodeName=foo-021 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
NodeName=foo-022 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
NodeName=foo-023 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
NodeName=foo-024 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
PartitionName=general Nodes=foo-[001-024] Default=YES MaxTime=INFINITE State=UP

我添加了一些附加信息来阐明我想要实现的目标。

对于我当前的工作，我正在使用 Slurm“数组”功能。例如，我的批处理脚本（使用“sbatch”提交）的开头是：

#!/bin/bash
#SBATCH -J bb
#SBATCH -N 1
#SBATCH -n 1
#SBATCH -c 1
#SBATCH -a 0-9970%96
#SBATCH -t 4:00:00
#SBATCH -o enum-%A_%a.txt
...

这有效并导致脚本中的“...”在所有 96 个核心上独立执行（这是一组令人尴尬的并行计算）。我想用“%192”替换“%96”，并让 192 个作业同时在 96 个核心上运行。目前我的 Slurm 配置不会发生这种情况。相反，Slurm 仍然运行 96 个作业并在这些作业完成后进行填补。我已经尝试将“-O”/“--overcommit”标志设置为“sbatch”，但它似乎并没有改变行为。

Answer 1

您可以指示 Slurm 为每个核心分配多个任务，而不是更改 Slurm 配置。在分配（即作业脚本）中，您可以添加 --ntasks- per-core=4 并使用srun参数--overcommit。

作业脚本示例：

#!/bin/bash
[...]
#SBATCH -N 24
#SBATCH --ntasks-per-core=4
#SBATCH -n 96
[...]

srun --overcommit -n 384 ./your-prog