如何使报告的步骤成为pytorch光线的记录频率的倍数，而不是日志记录频率减去1？

Question

[警告！ 内部的pedantry]

我正在使用pytorch Lightning包装我的Pytorch型号，但是由于我是pedantic的，我发现记录器在我所要求的频率上报告步骤的方式令人沮丧， 减1 ：

1. 当我设置log_every_n_steps = 100 in trainer in 时，我的tensorboard输出显示了我的指标99、199、299等。为什么不在100、200、300处？
2. 当我设置check_val_every_n_epoch = 30在trainer中时，我的控制台输出显示进度栏升至Epoch 29，然后做validate，留下一条跟踪在时期29、59、89之后报告指标的控制台输出。这样：

Epoch 29: 100%|█████████████████████████████| 449/449 [00:26<00:00, 17.01it/s, loss=0.642, v_num=logs]
[validation] {'roc_auc': 0.663, 'bacc': 0.662, 'f1': 0.568, 'loss': 0.633}
Epoch 59: 100%|█████████████████████████████| 449/449 [00:26<00:00, 16.94it/s, loss=0.626, v_num=logs]
[validation] {'roc_auc': 0.665, 'bacc': 0.652, 'f1': 0.548, 'loss': 0.630}
Epoch 89: 100%|█████████████████████████████| 449/449 [00:27<00:00, 16.29it/s, loss=0.624, v_num=logs]
[validation] {'roc_auc': 0.665, 'bacc': 0.652, 'f1': 0.548, 'loss': 0.627}

我做错了吗？我应该简单地提交PL来解决这个问题吗？

Answer 1

您没有做错任何事情。 Python使用基于零的索引，因此时期计数也从零开始。如果要更改所显示的内容的行为，则需要覆盖默认的tqdmprogressbar 和修改on_train_epoch_start以显示偏置值。您可以通过以下方式实现这一目标：

from pytorch_lightning.callbacks.progress.tqdm_progress import convert_inf

class LitProgressBar(TQDMProgressBar):
    def init_validation_tqdm(self):
        bar = super().init_validation_tqdm()
        bar.set_description("running validation...")
        return bar
    def on_train_epoch_start(self, trainer, *_) -> None:
        total_train_batches = self.total_train_batches
        total_val_batches = self.total_val_batches
        if total_train_batches != float("inf") and total_val_batches != float("inf"):
            # val can be checked multiple times per epoch
            val_checks_per_epoch = total_train_batches // trainer.val_check_batch
            total_val_batches = total_val_batches * val_checks_per_epoch
        total_batches = total_train_batches + total_val_batches
        self.main_progress_bar.reset(convert_inf(total_batches))
        self.main_progress_bar.set_description(f"Epoch {trainer.current_epoch + 1}")

在最后一行的代码中注意+1。这将抵消进度栏中显示的时期。然后将您的自定义栏传递给您的教练：

# Initialize a trainer
trainer = Trainer(
    accelerator="auto",
    devices=1 if torch.cuda.is_available() else None,  # limiting got iPython runs
    max_epochs=3,
    callbacks=[LitProgressBar()],
    log_every_n_steps=100
)

Finaly：

trainer.fit(mnist_model, train_loader)

对于第一个时代，这将显示：

GPU available: False, used: False
TPU available: False, using: 0 TPU cores
IPU available: False, using: 0 IPUs
HPU available: False, using: 0 HPUs

  | Name | Type   | Params
--------------------------------
0 | l1   | Linear | 7.9 K 
--------------------------------
7.9 K     Trainable params
0         Non-trainable params
7.9 K     Total params
0.031     Total estimated model params size (MB)

Epoch 1: 17%                        160/938 [00:02<00:11, 68.93it/s, loss=1.05, v_num=4]

而不是默认值

Epoch 0: 17%                        160/938 [00:02<00:11, 68.93it/s, loss=1.05, v_num=4]