distributed-computing

distributed-computing

文章 0 浏览 7

为什么在使用分布策略时,2D卷积的反向传播失败了?

我遵循TensorFlow的教程,启用了Multi GPU培训(来自一台计算机),并使用我的自定义培训循环进行分配策略: https://www.tensorflow.org/guide/distr…

浮云落日 2025-02-13 08:45:30 1 0

仅当两者都获得分配的资源时,才能运行2个Slurm作业

提交一项工作以持有4 GPU。第二个提交以获取接下来的4个GPU(在不同的节点上)。我如何确保两个作业同时运行,以最终同步(Pytorch DPP)。 拥有一个…

深白境迁sunset 2025-02-10 17:08:48 2 0

有效的约束求解器和优化器

Closed. This question is seeking recommendations for software libraries, tutorials, tools, books, or other off-site resources. It does not …

や三分注定 2025-02-09 21:43:54 3 0

如何选择FairSeq选项`-ddp-backend`

我正在学习如何使用 fairseq 实现基于简单的翻译模型在变压器上。 我想在实验室服务器上使用2 GEFORCE RTX 3090 GPU。我应该选择的哪个选项 - fairseq…

掌心的温暖 2025-02-09 02:57:57 2 0

在AWS Cloudformation上创建Dask-Fargate-stack之后,Rollback_in_progress状态

我正在关注本指南能够使用在我的sagemaker实例上分发的dask,以便我可以训练我的大数据回归模型,但是当我创建堆栈时,我会获得rollback_in_progress…

望喜 2025-02-07 10:46:27 2 0

在DataCrunch中,GPU利用率较低(不稳定)

我正在使用分布式镜像(2 A100)的DataCrunch中训练我的TensorFlow模型。我正在在TfreCords数据集上进行培训,其中每个Tfrecords包含600个长度10s的音…

七分※倦醒 2025-02-07 10:23:26 2 0

在Unison分布式软件包中选择模式的含义和语义是什么?

我搜索了文档,但可能错过了唯一类型模式=并行|讨论了顺序。特别是我试图在 seq.fromlist 中使用它,其中说: Seq.fromList : Mode -> [a] -> Seq k a…

古镇旧梦 2025-02-07 02:50:03 3 0

气流emraddstepsoperator无法执行火花阴影罐

Spark App的步骤类型应该是什么。.我面临的问题是,主类型未设置或无法识别纱线..似乎将应用程序视为简单的jar而不是Spark提交模式。 dag,error和emr…

岁月如刀 2025-02-05 09:22:31 2 0

在分布式协议中推动unordered_map的向量值的问题

我们正在实施套接字编程协议,并遇到了使我们感到困惑的错误。复制对象接收相同类型的多个传入消息,需要保留收到的消息列表。问题是,当我们将int推…

酒浓于脸红 2025-02-03 22:24:43 4 0

在Flink中设置操作员适当并行的直觉

我的问题是要了解在固定集群设置中flink工作中运营商的并行性的好选择。假设,我们有一个包含 MAP 和的FLINK作业DAG 在它们之间使用管道的边缘键入运…

雨巷深深 2025-01-31 11:48:59 4 0

运行“本地群集”时Apache Spark中的模型,如何防止执行者过早解离?

我有一个Spark应用程序,应在本地模式下进行测试&使用Scalatest的本地群集模式。 使用此方法提交本地群集模式: 如何在“本地群集”模式下进行Sc…

还不是爱你 2025-01-29 15:25:24 2 0

修复分布式版本中的算术错误

在分布式环境中,我正在通过浓度分解矩阵,因为它被讨论了在这里。我的代码工作正常,但是为了测试我的分布式项目可以产生正确的结果,我必须将其与串…

分分钟 2025-01-27 20:24:22 3 0

MySQL可以由于连续的共享锁而锁定锁定吗?

我有2个不同的交易,其中一个正在使用读取锁(共享 )的选择语句,而另一种用途写锁( for Update )。 假设他们正在尝试在同一行上获取锁。这是我试…

一抹微笑 2025-01-26 07:45:48 4 0

分布式锁 - 使用围栏令牌来防止并发写入网络文件

我正在阅读设计数据密集应用程序书籍。在第8章中,它讨论了使用围栏令牌以防止并发写入网络文件。 该机制指出,A锁服务可以给出围栏令牌,存储节点对…

2025-01-25 11:12:17 2 0

朱莉娅(Julia)的计算比串行慢的计算

我的朱莉娅功能似乎非常适合优化。每次迭代只能操纵其特定索引中的内容。然而,当以下面的分布式实现时,此功能比其串行等效速度慢。我尝试了使用分布…

洛阳烟雨空心柳 2025-01-24 16:46:43 2 0
更多

推荐作者

李珊平

文章 0 评论 0

Quxin

文章 0 评论 0

范无咎

文章 0 评论 0

github_ZOJ2N8YxBm

文章 0 评论 0

若言

文章 0 评论 0

南…巷孤猫

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文