如何为segformer准备数据集?
我正在尝试训练Segformer进行一些医学图像,因此,按照微调教程尽可能接近 lnk 。 数据集由一些fMRI图像和要分割的特定病变组成,这些图像的大小 data…
是否可以在HF/SageMaker上仅CPU机器上执行本地开发人员?
我正在尝试在 sagemaker.huggingface.huggingface 上进行本地开发,然后再搬到SageMaker进行实际培训。我设置了 hf_estimator = huggingface(entry_p…
MobileVit二进制分类值:`logits'和`labels'必须具有相同的形状,接收到((无,2)vs(none,1))
我正在使用COLAB笔记本( https://colab.research.google.com/github/keras/keras-team/keras-io/keras-io/blob/blob/master/master/exampleas/vision…
设置拥抱脸部dataloader_num_workers进行多GPU培训
Huggingface变形金刚是每个GPU设置的参数吗?还是整个GPU?并且此答案是否会根据培训是否在? 例如,如果我有一台具有4个GPU和48个CPU的计算机(仅运…
培训Pytorch的Parsebert模型的问题
我通过Google合作中的HuggingFace模型培训了Parsebert模型,而且运行良好。但是,当我在Pycharm中训练模型时,我遇到了很多错误。 Parsebert模型 mode…
如何获得原始单词级别实体而不是bert ner中的文字代币
我有一个训练有素的BERT模型,我愿意用来注释一些文本。 我正在以下面的方式使用变形金刚管道进行NER任务: mode = AutoModelForTokenClassification.…
令牌仪的词汇应该是什么?
我正在尝试使用HuggingFace的令牌器。但是,我没有词汇。 from tokenizers import BertWordPieceTokenizer , CharBPETokenizer, ByteLevelBPETokenize…
如何在Huggingsound中获得相对于音频时间的字母位置?
因此,我使用STT模型( SecemREcognitionModel )。我得到了如何获得句子,但我想知道如何获得相应的音频时间来输出字母。那么,如何在拥抱面中获得相…
预训练的语言模型:参数,数据,方法?
我正在研究预训练的LMS,特别是以下LMS: BERT ALBERT ROBERTA XLNET DISTILBERT BIGBIRD CONDBERT, 我正在寻找信息来比较这些LMS,例如:参数的数量…
如何将两个PANDAS DATAFRAME加载到Hugginface的数据集对象中?
我正在尝试将火车和测试数据框架加载到数据集对象中。将熊猫数据框加载到数据集对象的常用方法是: from datasets import Dataset import pandas as p…
如何从自定义的bertformaskedlm加载bertmodel,而无需随机初始化权重?
我已经培训了几天的 bertformaskedlm 模型,并且我 save_pretaining() it。 我想从 bertmodel 与嵌入的编码器向量进行比较 这个新训练的 bertformas…
从变压器加载预训练模型时,Unicode误差
我想为wav2vec使用预训练的模型,我从链接 tokenizer = Wav2Vec2Processor.from_pretrained('./wav2vec_small_960h.pt') 但是我有Unicode错误: File …