Question

1. 在很多情况下，你想使用的模型架构可以从你提供给 from_pretrained() 方法的预训练模型的名称或路径中猜到。AutoClass 为你自动做这样工作：根据预训练模型的名称或路径来自动选择对应的模型架构。

   实例化 AutoConfig, AutoModel, AutoTokenizer 将直接创建一个相关架构的类。如：

   
   model = AutoModel.from_pretrained("bert-base-cased")

   将创建一个 BertModel 的实例。

   Transformers 库提供了一族 AutoModel，用于各种任务、以及各种后端（PyTorch, TensorFlow, Flax）。

2. 每个 AutoClass 都有一个方法可以用你的自定义类来扩展。例如，如果你定义了一个自定义的 NewModel 类，请确保你有一个NewModelConfig ，然后你可以像这样把这些添加到 AutoClass 中：

   
   from transformers import AutoConfig, AutoModel
   
   
   AutoConfig.register("new-model", NewModelConfig)
   AutoModel.register(NewModelConfig, NewModel)

   然后你就可以像平时那样使用 AutoClass 了。

   • 如果你的 NewModelConfig 是 transformer.PretrainedConfig 的子类，请确保它的model_type 属性被设置为你在注册配置时使用的相同 key （这里是 "new-model" ）。
   • 同样地，如果你的 NewModel 是 PreTrainedModel 的子类，确保它的 config_class 属性被设置为你在注册模型时使用的相同class （这里是 NewModelConfig ）。