如何衡量预训练的 HuggingFace 语言模型的性能？

Question

我正在使用 Trainer 预训练 GPT2LMHeadModel，如下所示：

training_args = TrainingArguments(
    output_dir=str(project_root / 'models/bn-gpt2/'),
    overwrite_output_dir=True,
    num_train_epochs=1,
    per_device_train_batch_size=1,
    per_device_eval_batch_size=1,
    gradient_accumulation_steps=4,
    fp16=True,
    optim="adafactor",
    eval_steps=400,
    save_steps=800,
    warmup_steps=500,
    evaluation_strategy="steps",
)

trainer = Trainer(
    model=model,
    args=training_args,
    data_collator=data_collator,
    train_dataset=tokenized_dataset['train'],
    eval_dataset=tokenized_dataset['test'],
)

trainer.train()

我想在训练期间和训练之后使用困惑度或准确性指标来衡量预训练模型的性能。我已经找到了一些方法来测量单个句子的这些，但我找不到一种方法来为完整的模型做到这一点。我的目标是使用 GPT2 训练从头开始为我的母语创建下一个单词预测模型。

Answer 1

如果我理解正确，那么本教程 展示了如何计算整个测试集的困惑度。如果我没看错的话，他们会使用整个测试语料库作为一个由换行符连接的字符串，这可能与以下事实有关：perplexity 使用滑动窗口，该窗口使用语料库中前面的文本。我个人还没有计算模型的困惑度，也不是这方面的专家。在任何情况下，您都可以将句子得分平均为语料库得分，尽管该指标的工作逻辑以及权重可能存在问题，因为句子可以具有不同数量的单词，请参阅 此说明。

另外，我不确定您是否已经意识到这一点，但还有一个 预训练的 GPT-2模型可用于 Huggingface 上的孟加拉语。