有效计算余弦相似性

Question

我有一个大约 100k 字符串的银行，当我得到一个新字符串时，我想将它与最相似的字符串匹配。

我的想法是使用 tf-idf （这是有道理的，因为关键字非常重要），然后使用余弦距离进行匹配。有没有一种有效的方法可以使用 pandas/scikit-learn/scipy 等来做到这一点？我目前正在这样做：

df['cosine_distance'] = df.apply(lambda x: cosine_distances(x["tf-idf"], x["new_string"]), axis=1)

这显然很慢。我正在考虑可能是 KD 树，但它需要大量内存，因为 tf-idf 向量的维度为 2000。

Answer 1

考虑使用矢量化计算而不是循环 DataFrame 行（这非常慢，应该避免）。

我不确定数组在数据框中的表示方式，因此请确保从两个形状相同的数组开始。

from numpy import einsum
from numpy.linalg import norm
arr_a = df["tf_idf"].values
arr_b = df["new_string"].values
cos_sim = einsum('ij,ij->i', arr_a, arr_b) / (norm(arr_a, axis=1)*norm(arr_b, axis=1))
df["cosine_distance"] = 1 - cos_sim

此代码使用向量运算直接计算余弦距离（einsum 参考），并且运行速度比 快几个数量级DataFrame.apply() 方法。