群集作业的RAM使用的优化会影响HPC环境中的数据传输。有什么方法可以关闭CP或Rsync命令中的RAM的缓存？

Question

我的问题与在大型HPC群集上执行计算机模拟有关。我有一个进行MC模拟的程序。通过模拟的某些部分之后，将结果保存到文件中，并从一开始就继续写入内存的同一部分。因此，该程序不需要所有的RAM即可运行（我们正在谈论真正低的内存使用情况，例如〜25MB）。但是，随着时间的推移产生的总数据比那大10或100倍。作业以正常方式处理：将作业数据复制到刮擦分区，程序在节点上运行，结果将从从头开始返回到Jobdir。

现在，如果不是因为在向Slurm提交工作时，我必须宣布分配了该工作的金额。如果我围绕实际程序使用情况声明了一些内容，例如50MB，我在恢复结果时遇到了问题。经过一周的仿真后，将数据从头到工作目录复制，并且复制操作被缓存到RAM，违反了Job RAM设置。最终，这项工作被Slurm杀死。我必须在刮擦上手动查找此数据并将其复制回。显然，对于几千个工作来说，这是不可行的。

用于复制的命令是：

cp -Hpv ${CONTENTS} ${TMPDIR}

如果复制的内容大于指定的MB，则该工作被一条消息杀死：

/var/lib/slurm-llnl/slurmd/job24667725/slurm_script: line 78: 46020 Killed cp -Hpv ${CONTENTS} ${TMPDIR}
slurmstepd-e1370: error: Detected 1 oom-kill event(s) in StepId=(jobid).batch. Some of your processes may have been killed by the cgroup out-of-memory handler.

在这方面，我已经联系了群集管理员，他们只是回复为这份工作保留更多的RAM。但是，这会导致模拟过程中荒谬的RAM锁定（基本上浪费）一周，并且仅在复制结果后才使用。请记住，我可以（而且经常）一次提交多达5000个作业，我正在寻找某种骇客cp或rsync命令强制执行他们在复制时不要缓存到RAM或根本不会缓存。

任何评论都会很高兴。 此致。