尝试使用Electra而不是BERT模型运行NLP模型

Question

我想运行 wl-coref 带有电气模型的模型而不是bert模型。但是，我通过Electra模型收到一条错误消息，并且找不到有关如何修复它的HuggingFace文档中的提示。

我尝试了不同的BERT模型，例如Roberta-Base，Bert-Base-German cassed或Spanbert/Spanbert-Base Cashed。所有工作。 但是，如果我尝试使用Electra模型，例如Google/Electra-Base-Discisiminator或Derman-NLP组/元基层 - 基德 - 荷兰语，则不起作用。

显示的错误：

out, _ = self.bert(subwords_batches_tensor,  attention_mask=torch.tensor(attention_mask, device=self.config.device))
ValueError: not enough values to unpack (expected 2, got 1)

这是错误来自： _ bertify 在第349行中。

Answer 1

只需删除下划线 _ 。 electra electra 不像 bert or 或 roberta ：

from transformers import AutoTokenizer, AutoModel

def bla(model_id:str):
  t = AutoTokenizer.from_pretrained(model_id)
  m = AutoModel.from_pretrained(model_id)

  print(m(**t("this is a test", return_tensors="pt")).keys())

bla("google/electra-base-discriminator")
bla("roberta-base")

输出：

odict_keys(['last_hidden_state'])
odict_keys(['last_hidden_state', 'pooler_output'])