如何仅在分布式培训中显示TQDM主节点的进度栏？

Question

TQDM在分布式培训设置（torch.distributed.run）中泛滥很多，是否有办法仅显示主节点的栏？

Answer 1

您可以通过设置disable = true非主机进程的参数关闭，例如：

# ...
    
master_process = ddp_rank == 0

# ...
    
for epoch in range(epoch_num):
  with tqdm(dataloader, disable=not master_process) as pbar:    
    # ...