NLP-如何在问题列表中获取常见问题的列表

Question

所有内容都在标题中，因此我基本上有几个问题的列表，即字符串，其想法是在第一个问题列表中获取另一个常见问题的列表。

我不知道这是否有意义，但我会尝试解释我尝试的方法。

该方法包括计算列表中每个元素的余弦相似性与其余元素不包括正在处理的元素以防止使用相同元素执行计算的元素。

也就是说，将创建一个字典，其中包含键作为正在处理的每个元素的索引，而值将是每个元素的索引列表，每个元素的索引列表，其余弦相似性与密钥索引的阈值高于阈值。

一旦创建了字典，其值列表的最高列表的键索引将被视为常见问题，之后您可以选择前10个或任何想要的数字。

首先，缺点是知道我 +60k问题（14天）需要大量时间执行。 其次，我不知道这是否是解决此问题的最佳方法，您怎么看？ 最后，如果您有一个更清晰，更好的想法来解决问题，那么我全都可以帮助其他人有相同问题的人。

import nltk
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize
nltk.download('punkt')
nltk.download('stopwords')

list_of_questions = ['How does umap know which high dimensional datapoint belongs to which cluster?',...]

score = dict()
threshold = 0.7
#tokenization

#sw contains the list of stopwords
sw = stopwords.words('english')

for index, main_question in enumerate(list_of_questions):
    similarities = []
    temp_list = list_of_questions.copy()
    X_list = word_tokenize(main_question)
    temp_list.pop(index)
    for question_ in temp_list:
        l1 =[];l2 =[]
        Y_list = word_tokenize(question_)
        
        if len(X_list) == 0 or len(Y_list) == 0:
            continue
        #remove stop words from the string
        X_set = {w for w in X_list if not w in sw} 
        Y_set = {w for w in Y_list if not w in sw}

        #form a set containing keywords of both strings 
        rvector = X_set.union(Y_set) 
        for w in rvector:
            if w in X_set: l1.append(1) # create a vector
            else: l1.append(0)
            if w in Y_set: l2.append(1)
            else: l2.append(0)
        c = 0

        #cosine formula 
        try:
            for i in range(len(rvector)):
                    c+= l1[i]*l2[i]
            cosine = c / float((sum(l1)*sum(l2))**0.5)
            if cosine > threshold:
                similarities.append(list_of_questions.index(question_))
                print("Cosine similarity: ", cosine)
        except:
            continue
    score[index] = similarities

Answer 1

我建议以下内容：

• 创建一个n*n相似性矩阵，其中n是列表中的问题数。
• 计算相似性矩阵后，您可以运行一个无监督的聚类算法，以将相似/相关的问题聚集在一起。我建议 中文窃窃私语 clustering算法。

关于问题之间的相似性，有一些更有效的方法可以捕获相似性，请查看此库 https：// https：// https：// pypi.org/project/textdistance/ 。或者，您可以将Spacy用于此目的 https：// https：//更好的程序