针对验证损失的 Optuna 剪枝

Question

我在我的深度学习项目中引入了以下几行代码，以便在验证损失在 10 个 epoch 内没有改善时尽早停止：

if best_valid_loss is None or valid_loss < best_valid_loss:
    best_valid_loss = valid_loss
    counter = 0 
else:
    counter += 1 
    if counter == 10: 
        break

现在我想使用 Optuna 来调整一些超参数，但我不太明白 Optuna 中的剪枝是如何工作的。 Optuna 修剪器是否可以按照上面代码中的方式进行操作？我假设我必须使用以下内容：

optuna.pruners.PatientPruner(???, patience=10)

但我不知道我可以在 PatientPruner 中使用哪个修剪器。顺便说一句，在 Optuna 中，我正在最大限度地减少验证损失。

Answer 1

简短回答：是的。

大家好，我是 Optuna 中 PatientPruner 的作者之一。如果我们执行普通提前停止，则 wrapped_pruner=None 会按我们的预期工作。例如，

import optuna

def objective(t):
    for step in range(30):
        if step == 5:
            t.report(0., step=step)
        else:
            t.report(step * 0.1, step=step)
        if t.should_prune():
            print("pruned at {}".format(step))
            raise optuna.exceptions.TrialPruned()
            
    return 1.

study = optuna.create_study(pruner=optuna.pruners.PatientPruner(None, patience=9), direction="minimize")
study.optimize(objective, n_trials=1)

输出将修剪为 15。