transformer-model

transformer-model

文章 0 浏览 6

为什么不使用x = data [0:n]和y = data [n+ 1]训练RNN(但是x = data [0:n]和y = data [1:n+ 1])?

这是一个将军,我认为有关如何设置经常性神经网络的非常基本/基本的问题。为此,让我们假设我们正在训练一种自回归语言模型,该模型试图预测某些文本…

以可爱出名 2025-02-04 16:19:29 3 0

用张量流遮盖多螺纹遮罩

我一直在尝试为我的多键层的查询和钥匙的靶向组合做一个自定义掩码,但无法找到使用此层掩蔽的方法。 这是一个带虚拟数据集(批次1)的示例: key = t…

有木有妳兜一样 2025-02-01 23:22:24 2 0

将更多的自定义实体添加到预验证的自定义NER Spacy3中

我已经大量的文本数据,想增加约50个不同的实体。最初,当我开始使用它时,我会遇到内存错误。众所周知,Spacy可以处理每GB的1,00,000个令牌,最高可…

梦开始←不甜 2025-01-31 17:22:11 2 0

试图导出一个引用未跟踪'的函数。资源张量(272554:0" shape =(),dtype =资源)

我目前正在使用coatnet0进行此项目,但我似乎无法保存模型。希望有人可以指导我如何解决错误,或者有另一种保存模型的方法?代码的错误是: essertion…

给不了的爱 2025-01-30 12:42:52 5 0

create_padding_mask在变压器代码中使用编码器输入序列,以在解码器的第二个注意力块中创建填充掩码

我将在tensorflow.org上浏览变压器代码 - https://www.tensorflow.org/文本/教程/变压器 def create_masks(self, inp, tar): # Encoder padding mask …

才能让你更想念 2025-01-29 17:22:13 1 0

运行时间融合变压器默认数据集形状错误

我在Google COLAB中运行了默认代码,该代码在 github 上下载。 克隆之后,当我运行步骤2时,无法测试培训。 python3 -m script_train_fixed_params vo…

薯片软お妹 2025-01-29 12:18:19 2 0

attributeError:' tuple'对象没有属性' dim'

我正在尝试通过 pytorch库构建变压器网络。我使用的数据集是历史金融市场数据。 x_train= torch.from_numpy(x_train_tfr) x_test= torch.from_numpy(…

淡莣 2025-01-27 15:24:51 2 0

IndexError:张量的索引太多2:在huggingface模型上添加自定义层时

我尝试在二进制分类任务上将自定义层添加到HuggingFace Transformer模型中。作为一个绝对的初学者,我试图跟随此教程 不幸的是,这是一个自定义模型 c…

南…巷孤猫 2025-01-27 06:37:52 2 0

为什么视觉变形金刚键和查询linar层不合并为一个矩阵

我研究一些视觉变压器代码(例如vit-pytorch) 并在注意模块中发现: #x is input key=nn.Linear(...,bias=False)(x) query=nn.Linear(...,bias=False…

短叹 2025-01-26 16:52:52 2 0

m2m100tokenizer.from_pretrated' noneType'对象不可呼应

我有以下来自此 from transformers import M2M100ForConditionalGeneration, M2M100Tokenizer hi_text = "जीवन एक चॉकलेट बॉक्स क…

迷路的信 2025-01-26 12:50:14 5 0

Hugginface数据集错误:RuntimeError:输入类型(Torch.FloAttenSor)和重量类型(Torch.cuda.halftensor)应相同或

我从许多来源获取有关常见语音数据集的代码。我所做的唯一修改是将语言从土耳其语更改为波斯语。 我尝试运行代码。但是,当Line Trainer.Train()运…

满栀 2025-01-25 21:23:05 2 0

使用随机傅立叶功能&表演者

我读了标题为'与表演者重新思考注意力'的作品。这是处理具有强大理论保证的变压器中使用的自我注意力的二次时间复杂性的开创性贡献。 但是,我坚持以…

西瓜 2025-01-25 12:27:31 2 0

如何为文本Pytorch变压器编写一代函数?

遵循此 pytorch教程自定义数据集。问题是,我已经搜寻了网络,没有找到明确的答案...如何使用此模型生成文本?我通过编码我的SOS和种子文本并将其通过…

不爱素颜 2025-01-24 23:53:23 2 0

视觉变压器注意图由关键点位置 - 张量

我已经在TensorFlow上培训了一个VIT模型,以基于 https://github.com/yangsenius/yangsenius/yangsenius/transpose 我想模拟每个关键点的关注图: htt…

橘寄 2025-01-24 20:29:53 2 0

未知的任务文本分类,可用的任务是['feature-temant-rettraction','情感 - 分析',

我试图基于此模型首次使用变形金刚: https://huggingface.co/bhadresh-savani/distilbert-base-uncased-emotion?text=i+like+yellike+yefy.+ ii+love…

宁愿没拥抱 2025-01-24 03:53:56 2 0
更多

推荐作者

alipaysp_snBf0MSZIv

文章 0 评论 0

梦断已成空

文章 0 评论 0

瞎闹

文章 0 评论 0

寄意

文章 0 评论 0

似梦非梦

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文