将Gensim与现有嵌入式表一起使用

Question

我已经使用HuggingFace Transformers库的微调变压器模型生成了一堆单词嵌入式。 现在，想进行一些快速评估，结果是否有任何好处。我偶然发现了Gensim，发现它具有方便的功能，例如 model.wv.most_similar（），可能还有一些我可以使用该行的其他功能。

我想知道是否没有加载Gensim模型，而是可以以某种方式将嵌入式表导入其中并使用它，因此我不必自己实现所有这些功能。

我的嵌入目前在词典中带有键，项目对是单词及其嵌入向量，尽管我可以以其他任何格式合理地保存它。

Answer 1

做了一些挖掘并找到了这篇文章：

使用方法：

def save_word2vec_format(fname, vocab, vector_size, binary=True):
    """Store the input-hidden weight matrix in the same format used by the original
    C word2vec-tool, for compatibility.

    Parameters
    ----------
    fname : str
        The file path used to save the vectors in.
    vocab : dict
        The vocabulary of words.
    vector_size : int
        The number of dimensions of word vectors.
    binary : bool, optional
        If True, the data wil be saved in binary word2vec format, else it will be saved in plain text.


    """
    
    total_vec = len(vocab)
    with gensim.utils.smart_open(fname, 'wb') as fout:
        print(total_vec, vector_size)
        fout.write(gensim.utils.to_utf8("%s %s\n" % (total_vec, vector_size)))
        # store in sorted order: most frequent words at the top
        for word, row in tqdm(vocab.items()):
            if binary:
                row = row.astype(np.float32)
                fout.write(gensim.utils.to_utf8(word) + b" " + row.tostring())
            else:
                fout.write(gensim.utils.to_utf8("%s %s\n" % (word, ' '.join(repr(val) for val in row))))

它

model = gensim.models.KeyedVectors.load_word2vec_format('./my/path', binary=True)

需要一些小的修改，但似乎可以很好地工作我的用例。