使用gpt2，meanloss = loss.mean()的预训练模型时，却出现这个错误：AttributeError: 'str'对象没有属性“mean”；

Question

在训练过程中，我试图找到平均损失，但是我犯了一个错误

        loss, logits, _ = model(data1, labels=target1)
        meanloss = loss.mean()
        total_loss += meanloss
        meanloss.backward()
        optimizer.step()

，这就是错误

AttributeError: 'str' object has no attribute 'mean'

Answer 1

这一定是你的模型造成的。你能展示你定义的模型吗？

这是一个例子：

>>> import torch
>>> from transformers import GPT2Tokenizer, GPT2LMHeadModel

>>> tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
>>> model = GPT2LMHeadModel.from_pretrained('gpt2')

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> outputs = model(**inputs, labels=inputs["input_ids"])
>>> loss, logits = outputs[:2]