R作业作业排队/工作负载管理

Question

我花了一些时间在 Google 上寻找 R 的排队/负载均衡器包。

我想要实现的目标：

• 从远程前端执行多个相互独立的 R 函数
• 2 个双核服务器作为 R 后端，

利用 ：

• 每个函数通常平均每 5 分钟处理一次
• （但可以同时），一组 8-15 个要执行的函数被发送到后端（排队等待处理：首先先入先出）。 5分钟是平均值，可以同时发送多组，并且
• 2x2 R实例已经在运行，加载了所需的包，它们总是相同的，因此不需要一直重新加载它们
• 传输的输入数据量非常低：最大 50k

这里没有代码并行化主题（snow、snowfall foreach、condor 和其他传统集群解决方案）

您知道为 R 设计的一个好的包/工具可以提供帮助吗？

多谢 ！

Answer 1

这听起来像是使用 RApache 的合理上下文，它可以实例化多个 R 实例和必要的包。