如何限制同时运行的 PBS 作业的数量

发布于 2024-08-17 19:42:08 字数 181 浏览 7 评论 0原文

我有一个 64 节点集群,运行 PBS Pro。如果我提交数百个作业,我可以同时运行 64 个作业。这很棒,除非所有 64 个作业恰好都接近 I/O 限制,并且正在读/写同一磁盘。在这种情况下,我希望仍然能够提交所有作业,但在给定时间最多运行(例如)10 个作业。 qsub 是否有一个咒语允许我这样做,而无需对集群的 PBS 服务器进行管理访问?

I have a 64-node cluster, running PBS Pro. If I submit many hundreds of jobs, I can get 64 running at once. This is great, except when all 64 jobs happen to be nearly I/O bound, and are reading/writing to the same disk. In such cases, I'd like to be able to still submit all the jobs, but have a max of (say) 10 jobs running at a given time. Is there an incantation to qsub that will allow me to do such, without having administrative access to the cluster's PBS server?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

回忆凄美了谁 2024-08-24 19:42:08

在 TORQUE 中,您可以通过在作业数组上设置插槽限制来实现此目的,只要您可以将作业排列为数组即可:

qsub script.sh -t 0-99%10

将限制其中 10 个作业同时运行。如果 PBSPro 有与此等效的工具,那么您可以使用它。

In TORQUE you can do this by setting a slot limit on a job array, as long as you can arrange the jobs as an array:

qsub script.sh -t 0-99%10

would limit 10 of them to running at once. If PBSPro has an equivalent to this then you can use that.

嘴硬脾气大 2024-08-24 19:42:08

你可以让他们相互依赖。
或安排它们在不同的时间点开始。

否则,您的管理员可以减少您可以同时运行的同时作业的数量。

you could make them dependent on each other.
or schedule them to start at different timepoints.

otherwise, your admin can reduce the number of simultaneous jobs you can run at the same time.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文