如何获得熊猫DF中两个文本列的交点

Question

我有一个看起来像这样的DF：

id  textcol1             textcol2             ... coln
1   blue bowl            green bowl           ... xxx
2   purple sheet         green grass          ... xxx
3   ground black pepper  ground black pepper  ... xxx

等等...

想获得TextCol1和TextCol2之间的常见单词的百分比

id  textcol1             textcol2             ... coln intersection
1   blue bowl            green bowl           ... xxx  50
2   purple sheet         green grass          ... xxx  0
3   ground black pepper  ground black pepper  ... xxx  100

我想在很长一段时间内提出以下解决方案之后，

df['intersection'] = [(len(set(a) & set(b)) / float(len(set(a) | set(b))) * 100) for a, b in zip(df.textcol1, df.textcol2)]

我 预计，例如，两次通过“地面黑胡椒”会产生93.3333333333330。

我已经完成了所有通常的清洁步骤 - 删除空格等 - 但是无法弄清楚这里的问题是什么。

我想念什么？

Answer 1

考虑首先编写通用文本比较函数，例如text_diff，它计算两个文本之间的简单令牌重叠（aka set> set of tokens s

def text_diff(text1, text2):
    return 100 * len(text1.intersection(text2)) / min(map(len, (text1, text2)))

）您要比较并将它们变成一个令牌集的列，例如，

df2 = df.filter(like="textcol").applymap(str.split).applymap(set)

结果：

                   textcol1                 textcol2
id                                                  
1              {bowl, blue}            {bowl, green}
2           {sheet, purple}           {grass, green}
3   {pepper, black, ground}  {pepper, black, ground}

因此，您可以通过这种方式轻松地应用功能，

>>> df2.apply(lambda row: text_diff(*row), axis=1)
id
1     50.0
2      0.0
3    100.0
dtype: float64

可以轻松调整和/或替换您的text_diff函数。也对文本相似性度量进行一些研究，并使用现有工具（如果适用）。 <

Answer 2

我认为其他答案很好，但是您想在textCol1和textCol2的行之间获得共同单词的百分比。

为了获得这一点，我们必须从行中检索所有令牌，并计算textCol1和textCol2的行中的单词令牌之间的所有出现。

第一行中常用单词的百分比必须为0.33，因为我们将set单词= {碗，蓝色，绿色}进行比较。
textCol1 < / code>和textCol2 < / code>只有一个单词，共同common_words：{bowl}，

因此我们得到：#common_words / #all_words = 1 /3 = 0.33 = 0.33 < /代码>

一个示例：

from functools import reduce
from operator import add


def fun(text1, text2):
    text1_tokens = text1.split(' ')
    text2_tokens = text2.split(' ')
    text1_set = set(text1_tokens)
    text2_set = set(text2_tokens)

    text_intersect = list(set.intersection(text1_set, text2_set))
    all_tokens = list(set.union(text1_set, text2_set))
    common_token_count =  list(map(lambda x: all_tokens.count(x), text_intersect))

    if len(common_token_count) > 0:
        common_token_count = reduce(add, common_token_count)
        return f"{common_token_count/len(all_tokens):.2f}"
    else:
        return 0.00
    

df["intersection"] = df.apply(lambda x: fun(x["text1"], x["text2"]), axis=1)

输出：

0   blue bowl   green bowl  0.33
1   purple sheet    green grass 0.00
2   ground black pepper ground black pepper 1.00

Answer 3

这是一种快速而肮脏的方式。但是，可能需要根据文本进行调整，以及如何定义与机器人指向的交叉点。

def intersections(x):
    combined = x['textcol1'].split(' ') + x['textcol2'].split(' ') 
    total = {i:combined.count(i) for i in combined}
    return sum([v for v in total.values() if v != 1]) / len(combined) * 100

df['intersections'] = df.apply(intersections, axis=1)
print(df)

              textcol1             textcol2  intersections
0            blue bowl           green bowl           50.0
1         purple sheet          green grass            0.0
2  ground black pepper  ground black pepper          100.0