带有Google的word嵌入式T5？

Question

是否可以使用Google的T5生成单词嵌入？

我假设这是可能的。但是，我找不到我需要能够在相关github上生成词嵌入的代码（ https://github.com/google-research/text-text-text-text-text-transfer-transformer ）或huggingface（ https://huggingface.co/docs/transformers/model_doc/t5 ）页面。

Answer 1

是的，这是可能的。只需将单词的ID馈送到单词嵌入层：

from transformers import T5TokenizerFast, T5EncoderModel

tokenizer = T5TokenizerFast.from_pretrained("t5-small")
model = T5EncoderModel.from_pretrained("t5-small")
i = tokenizer(
    "This is a meaningless test sentence to show how you can get word embeddings", return_tensors="pt", return_attention_mask=False, add_special_tokens=False
)

o = model.encoder.embed_tokens(i.input_ids)

输出张量具有以下形状：

#print(o.shape)
torch.Size([1, 19, 512])

19个向量是每个令牌的表示。根据您的任务，您可以用 word_ids ：

i.word_ids()

输出：

[0, 1, 2, 2, 3, 3, 3, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 12, 12, 12]