如何选择FairSeq选项`-ddp-backend`

发布于 2025-02-09 02:57:57 字数 880 浏览 2 评论 0 原文

我正在学习如何使用 fairseq 实现基于简单的翻译模型在变压器上。

我想在实验室服务器上使用2 GEFORCE RTX 3090 GPU。我应该选择的哪个选项 - fairseq-train 的ddp-backend ？

此外，您能否解释的所有以下选项的含义-DDP-Backend 以及何时使用它们的含义？

来自 FairSeq-Train =＆gt; distribute_training

- DDP-BAKEND ：

可能的选择：c10d，firls_sharded，legacy_ddp，no_c10d，pytorch_ddp，slowmo

distribationdataparallear后端

默认值：“ pytorch_ddp”

distributeddataPararallearpallelallearlallearallearlallelalearder 有任何不当行动。

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

嘦怹 2025-02-16 02:57:57

我不太确定，但是我在

DDP_BACKEND_CHOICES = ChoiceEnum(
    [
        "c10d",  # alias for pytorch_ddp
        "fully_sharded",  # FullyShardedDataParallel from fairscale
        "legacy_ddp",
        "no_c10d",  # alias for legacy_ddp
        "pytorch_ddp",
        "slowmo",
    ]
)

可能会有所帮助，但我也在努力

I am not too sure, but I found this on GitHub

DDP_BACKEND_CHOICES = ChoiceEnum(
    [
        "c10d",  # alias for pytorch_ddp
        "fully_sharded",  # FullyShardedDataParallel from fairscale
        "legacy_ddp",
        "no_c10d",  # alias for legacy_ddp
        "pytorch_ddp",
        "slowmo",
    ]
)

Might be helpful, but I am also struggling with this

回复收藏 0 原文