评估bert模型参数。requires_grad

Question

我对BERT模型的测试集评估有疑问。在评估部分期间，param.requires_grad假定为真或错误？如果我在培训期间是否进行了完整的微调，则不愿意进行。我的模型是Model.eval（）模式，但我想确保在调用它进行评估时不要在模型（）类中强制任何错误。谢谢 ！

  if freeze_bert == 'True':
        for param in self.bert.parameters():
            param.requires_grad = False
            #logging.info('freeze_bert: {}'.format(freeze_bert)) 
            #logging.info('param.requires_grad: {}'.format(param.requires_grad))
    if freeze_bert == 'False':
        for param in self.bert.parameters():
            param.requires_grad = True

Answer 1

如果冻结了模型，则不得更新相应模块的参数， ie 他们不应需要梯度计算：requientes_grad = false。

注：具有 方法：

if freeze_bert == 'True':
    self.bert.requires_grad_(False)

elif freeze_bert == 'False:
    self.bert.requires_grad_(True)

理想情况freeze_bert将是布尔值，您只需做：

self.bert.requires_grad_(not freeze_bert)