Blenderbot Finetuning

Question

我一直在尝试微调拥抱面的对话模型：Blendebot。我尝试了在官方拥抱面孔网站上给出的常规方法，该网站要求我们使用Trainer.Train（）方法进行操作。我使用.compile（）方法尝试了它。我尝试使用pytorch以及数据集中的张量进行微调。这两种方法似乎都失败了，并给我们一个错误，说没有任何方法称为Blenderbot模型的编译或火车。我什至在网上浏览了任何地方，以检查Blenderbot如何在我的自定义数据上进行微调，并且在没有丢失错误的情况下没有正确地提及它。我已经浏览了YouTube教程，博客和Stackoverflow帖子，但没有一个回答这个问题。希望有人在这里回应并帮助我。我也愿意使用其他拥抱面对话模型以及进行微调。

这是我用来微调Blenderbot模型的链接。

微调方法： https://huggingface.co/docs/transformers/transformers/training

blenderbot blenderbot a href =“ https://huggingface.co/docs/transformers/model_doc/blenderbot” rel =“ noreferrer”> https://huggingface.co/docs/transformers/model_doc/blenderblenderbot

from transformers import BlenderbotTokenizer, BlenderbotForConditionalGeneration
mname = "facebook/blenderbot-400M-distill"
model = BlenderbotForConditionalGeneration.from_pretrained(mname)
tokenizer = BlenderbotTokenizer.from_pretrained(mname)


#FOR TRAINING: 

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=small_train_dataset,
    eval_dataset=small_eval_dataset,
    compute_metrics=compute_metrics,
)
trainer.train()

#OR

model.compile(
    optimizer=tf.keras.optimizers.Adam(learning_rate=5e-5),
    loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
    metrics=tf.metrics.SparseCategoricalAccuracy(),
)

model.fit(tf_train_dataset, validation_data=tf_validation_dataset, epochs=3)

这些工作。

Answer 1

也许尝试使用tfblenderbotforconditionalgeneration tensorflow的类。它具有所需的内容：

import tensorflow as tf
from transformers import BlenderbotTokenizer, TFBlenderbotForConditionalGeneration

mname = "facebook/blenderbot-400M-distill"
model = TFBlenderbotForConditionalGeneration.from_pretrained(mname)
tokenizer = BlenderbotTokenizer.from_pretrained(mname)

model.compile(
    optimizer=tf.keras.optimizers.Adam(learning_rate=5e-5),
    loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
    metrics=tf.metrics.SparseCategoricalAccuracy(),
)
....

请参阅“ nofollow noreferrer”> docs 以获取更多信息。