计算列的所有行中2个单词组合的频率

Question

我想在列的所有行中计算2个单词组合的频率。

我有一个带有两个列的表 - 第一个是带有句子的列，另一个是该句子的bigram令牌化。

句子	单词
“美好的一天”“美丽	的一天”
“美丽的一天”遭受了“	日子”的“美好的一天”，
“美丽的一天”遭受了	苦难
忍受	“遭受“无法
泪水”	的 后背'
“无法阻止眼泪”	“后泪”
“灰烬后泪水美丽的一天”	“灰烬后''
灰色背泪美丽的一天	”“后泪”
泪”美丽的一天	'
“灰烬背 日“	美丽的一天”

我所需的输出是一列，计算整个df ['句子']列中所有句子中单词的频率。 类似的事情：

句子	单词	美丽
“美丽的一天”在“	的一天”	2
“美丽的一天”中遭受了“遭受的	“遭受”	1
'美丽的一天，“美丽的一天”遭受	了“	1
'无法阻止眼泪”的“遭受	的痛苦”。	1
'不能阻止眼泪'	“阻止”	1
'不能阻止眼泪'	返回眼泪'	2
“灰分泪水美丽	的日子” “灰分”	1'sh
ash aread tears teake	tebiled	'
teake '眼泪美丽的一天'	眼泪美丽的'	1
'灰背泪美丽的一天	“美丽的一天”	2

等。

我尝试过的代码重复第一个相同的频率，直到句子结束为止。

df.Sentence.str.count('|'.join(df.words.tolist()))

因此，不是我要寻找的东西，也需要很长时间，因为我的原始DF要大得多。

NLTK或任何其他库中是否有任何替代方案或任何功能？

Answer 1

我建议：

• 首先在两个句子的开头和结尾处删除引号和空格和words

data = data.apply(lambda x: x.str.replace("'", ""))
data["Sentence"] = data["Sentence"].str.strip()
data["words"] = data["words"].str.strip()

• 然后set stoncences and code> and words < /code>作为字符串对象：

data = data.astype({"Sentence":str, "words": str})
print(data)

#Output
                          Sentence            words
0   beautiful day suffered through     beautiful day
1   beautiful day suffered through      day suffered
2   beautiful day suffered through  suffered through
3           cannot hold back tears       cannot hold
4           cannot hold back tears         hold back
5           cannot hold back tears        back tears
6     ash back tears beautiful day          ash back
7     ash back tears beautiful day        back tears
8     ash back tears beautiful day   tears beautiful
9     ash back tears beautiful day     beautiful day

• 计数同一行中句子中给定单词的出现，并存储在列中EG words_occur

def words_in_sent(row):
    return row["Sentence"].count(row["words"])
data["words_occur"] = data.apply(words_in_sent, axis=1)

• 最后groupby words并总结其出现：

data["total"] = data["words_occur"].groupby(data["words"]).transform("sum")
print(data)

结果

                          Sentence          words    words_occur total
0   beautiful day suffered through     beautiful day           1     2
1   beautiful day suffered through      day suffered           1     1
2   beautiful day suffered through  suffered through           1     1
3           cannot hold back tears       cannot hold           1     1
4           cannot hold back tears         hold back           1     1
5           cannot hold back tears        back tears           1     2
6     ash back tears beautiful day          ash back           1     1
7     ash back tears beautiful day        back tears           1     2
8     ash back tears beautiful day   tears beautiful           1     1
9     ash back tears beautiful day     beautiful day           1     2

Answer 2

我理解的方式是，您希望每个唯一句子中包含的bi-gram数量。单词列中已经存在的答案已经存在。 value_counts（）用于交付。

df.merge(df['words'].value_counts(), how='left', left_on='words', right_index=True, suffixes=(None,'_total')) 

                           Sentence             words  words_total
0  beautiful day suffered through       beautiful day            2
1  beautiful day suffered through        day suffered            1
2  beautiful day suffered through    suffered through            1
3          cannot hold back tears         cannot hold            1
4          cannot hold back tears           hold back            1
5          cannot hold back tears          back tears            2
6    ash back tears beautiful day            ash back            1
7    ash back tears beautiful day          back tears            2
8    ash back tears beautiful day     tears beautiful            1
9    ash back tears beautiful day       beautiful day            2