创建 SLURM 多集群设置时 munge 凭据无效

Question

我正在构建一个 SLURM 多集群设置，其中有一个本地托管的 slurmdbd 和 Oracle 云中的 slurmctld 节点。 slurmctld 能够连接到 slurmdbd，但当我尝试以任何方式连接到数据库时，会收到此错误消息：

sacct: error: slurm_persist_conn_open: Something happened with the receiving/processing of the persistent connection init message to <IP_ADDRESS>: Failed to unpack SLURM_PERSIST_INIT message
sacct: error: slurmdbd: Sending PersistInit msg: No error
       JobID    JobName  Partition    Account  AllocCPUS      State ExitCode
------------ ---------- ---------- ---------- ---------- ---------- --------
sacct: error: slurm_persist_conn_open: Something happened with the receiving/processing of the persistent connection init message to <IP_ADDRESS>: Failed to unpack SLURM_PERSIST_INIT message
sacct: error: slurmdbd: Sending PersistInit msg: No error
sacct: error: slurmdbd: DBD_GET_JOBS_COND failure: Unspecified error

查看 slurmdbd 集群上的 /var/log/slurm/slurmdbd.log 文件，它记录了此错误：

[2022-03-11T08:29:47.541] error: Munge decode failed: Invalid credential
[2022-03-11T08:29:47.541] auth/munge: _print_cred: ENCODED: Wed Dec 31 19:00:00 1969
[2022-03-11T08:29:47.541] auth/munge: _print_cred: DECODED: Wed Dec 31 19:00:00 1969
[2022-03-11T08:29:47.541] error: slurm_unpack_received_msg: auth_g_verify: REQUEST_PERSIST_INIT has authentication error: Unspecified error
[2022-03-11T08:29:47.541] error: slurm_unpack_received_msg: Protocol authentication error
[2022-03-11T08:29:47.551] error: CONN:10 Failed to unpack SLURM_PERSIST_INIT message

为了确保我的凭据有效，我已通过 SCP 将 slurmdbd 的 MUNGE 密钥复制到 slurmctld，确保 UID 和 GID所有节点上的 slurm 和 munge 用户的数量都是相同的，并确保时钟全部同步。当我在任一服务器上进行 munge 和 unmunge 操作时，它都会成功解码加密消息。但是，当我尝试使用 echo foo | 从一台服务器向另一台服务器验证凭据时ssh 用户@服务器 munge | unmunge 命令，它给我一个响应 unmunge: error: invalid credential。我可以做什么才能仍然收到此回复？我应该怎样做才能确保我的凭证有效？