from_config和在huggingface中的差异

Question

num_labels = 3 if task.startswith("mnli") else 1 if task=="stsb" else 2
preconfig = DistilBertConfig(n_layers=6)
    
model1 = AutoModelForSequenceClassification.from_config(preconfig)
model2 = AutoModelForSequenceClassification.from_pretrained(model_checkpoint, num_labels=num_labels)

我正在修改（上面提供了修改的代码），以通过from_config来测试Distilbert变形金刚层的深度大小，因为从我的知识中from_pretretaining使用6层，因为在论文第3部分中，他们说：

我们通过将两层

中的一层从老师那里初始化。

而我要测试的是各种尺寸的层。要测试两者是否相同，我尝试运行from_config 使用n_layers = 6因为基于文档 n_layers用于确定变压器块深度。但是，当我运行model1和model2时，我发现使用SST-2数据集，准确性：

• model1仅实现0.8073
• model2实现的0.901

如果它们的行为相同，我希望结果有些相似，但是10％的下降是显着的下降，因此我相信HA会有差异在功能之间。该方法差异的背后有原因（例如model1尚未应用超参数搜索），并且有没有办法使这两个功能的行为相同？谢谢你！

Answer 1

您描述的两个函数，from_config和from_pretrentaining，行为不相同。对于模型m，具有参考r：

• from_config允许您实例化a blank 模型，该模型具有与您选择的模型相同的配置（相同的形状）：M在训练
• from_pretretaining允许您加载A 预读模型之前，是 ，该模型已经在特定数据集上进行了培训时期：M训练后的r 。

引用文档，注意：从其配置文件中加载模型不会加载模型权重。它仅影响模型的配置。使用from_pretrated（）加载模型权重。