如何衡量预训练的 HuggingFace 语言模型的性能？
我正在使用 Trainer 预训练 GPT2LMHeadModel，如下所示： training_args = TrainingArguments( output_dir=str(project_root / 'models/bn-gpt2/'), o…
如何在Julia中导入NLP模型（facebook bart Large mnli模型）？
我想寻求帮助在 Julia 中导入 zero-shot-classification 的 bart-large-mnli 模型？ 模型参考：https://metatext.io/models/facebook-bart-large -mnl…
与 DeepSpeed 相同的训练时间（尽管批量大小增加）
问题： 嗨！我正在使用 huggingface（不带 Trainer API）和使用 deepspeed 来微调 Electra 模型。应用 Deepspeed 后，我可以增加训练模型的批量大小（…
类型错误：forward() 得到了意外的关键字参数“return_dict” BERT 分类 HUGGIFACE 与调优
我堆满了这个模型，每天我的代码都会出现错误！无论如何，我正在尝试实现一个 Bert 分类器来区分 2 个序列类（二进制分类），并使用 AX 超参数调整。 …
CUDA：运行时错误：CUDA 内存不足 - BERT sagemaker
我一直在尝试使用 AWS Sagemaker 训练 BertSequenceForClassification 模型。我正在使用拥抱脸部估计器。但我不断收到错误：RuntimeError：CUDA 内存…
在数据帧列上应用预先训练的 facebook/bart-large-cnn 在 python 中进行文本摘要
我正在与 Huggingface Transformers（Summarizers）合作，并对它有了一些见解。我正在使用 facebook/bart-large-cnn 模型来执行文本摘要，并且正在运…
在 keras 模型中使用 `sentence-transformers`
我想在更大的 Keras 模型中使用来自句子转换器的模型。 这是完整的示例： import tensorflow as tf from transformers import AutoTokenizer, TFAutoM…
Hugginface Dataloader BERT ValueError：解压值太多（预期为 2），使用 Pytorch 调整 AX 超参数
从一周开始我就遇到了这个错误，我尝试了一切，所以事实是我没有深入理解正在发生的事情（我是 pytorch 实现的新手）。无论如何，我正在尝试实现一个 …
单语言 Transformers 模型可以用于 NLP 任务中的其他语言吗？
我需要微调 Tr 语言的 Sentence Transformer 模型。我意识到一些预先训练的模型在不同语言中给出了相似的结果。 那么，我们可以用它来微调 ST 预训练…
多头注意力中的多个头实际上会导致更多的参数或不同的输出吗？
我正在尝试理解变形金刚。虽然我理解编码器-解码器结构的概念以及自我注意背后的想法，但我所坚持的是“多头注意层”的“多头部分”。 看看这个解释 h…
无法在 python3 中运行 Huggingface 转换器 | ssl.SSLCertVerificationError
我正在尝试在我公司的笔记本电脑上运行 Huggingface 中的 Transformer 包，以在 python 3.8.2 中生成文本。 代码如下： from transformers import pip…
如何通过 model.generate 输出每个 token 的概率列表？
现在我有： model = GPTNeoForCausalLM.from_pretrained(model_name) tokenizer = GPT2Tokenizer.from_pretrained(model_name) input_ids = tokenizer…
生成器 `max_length` 的 query() 成功
目标：在 Hugging Face Transformers 生成器查询中设置 min_length 和 max_length。 我已传递 50, 200 作为这些参数。然而，我的输出长度要高得多....…
如何在 tf2.keras 中进行微调时冻结 BERT 的某些层
我正在尝试在数据集上微调“基于 bert-uncased”的文本分类任务。这是我下载模型的方式： import tensorflow as tf from transformers import TFAutoM…
- 共 1 页
- 1
