确定两个或多个摘要是否相似

Question

问题如下：

我有一个摘要，通常在 20 到 50 个单词之间，我想将其与其他相对相似的摘要进行比较。 摘要所指的一般类别和地理位置是已知的。

例如，如果来自同一地区的人正在撰写有关建造房屋的文章，我希望能够以一定程度的确定性列出这些摘要，表明他们实际上指的是建造房屋而不是建造车库或后院游泳池。

该数据集目前约有 50,000 个文档，并且以每天约 200 个文档的速度增长。

首选语言是 Python、PHP、C/C++、Haskell 或 Erlang，无论哪种都可以完成工作。 另外，如果您不介意的话，我想了解选择特定语言的原因。

Answer 1

您可以尝试使用一些字符串相似性度量，例如 Jaccard 和 Dice，但不是计算字符重叠，而是计算单词重叠。 例如，使用 Python，您可以使用以下命令：

def word_overlap(a, b):
    return [x for x in a if x in b]


def jaccard(a, b, overlap_fn=word_overlap):
    """
    Jaccard coefficient (/\ represents intersection), given by :
        Jaccard(A, B) = (A /\ B) / (|a|) + (|b|) - (A /\ B)
    """
    c = overlap_fn(a, b)
    return float(len(c)) / (len(a) + len(b) - len(c))

jaccard("Selling a beautiful house in California".split(), "Buying a beautiful crip in California".split())

Answer 2

由于Python对集合有很好的原生支持，我们可以修改 JG 代码为，

def jaccard(a, b):
    """
    Jaccard coefficient (/\ represents intersection), given by :
        Jaccard(A, B) = (A /\ B) / (|a|) + (|b|) - (A /\ B)
    """
    c = a.intersection(b)
    return float(len(c)) / (len(a) + len(b) - len(c))

jaccard(set("Selling a beautiful house in California"), set("Buying a beautiful crip in California"))

Answer 3

您可以查看 WEBSOM 项目。

尽管他们的网站今年没有完全更新，但解决的问题非常相似。 由于他们处理的数据量与 10 年前的您相似（甚至更多），因此今天您几乎可以在手机上运行这些算法。

Answer 4

实际上没有特定的语言可供选择。 您正在尝试找到语义相似性。 这是一个非常大的区域。 您可能对这篇论文感兴趣：

基于语料库和知识的文本语义相似度的测量