如何在各个主题中计算出伯尔图类的主题下的每个文档概率？

Question

我正在尝试使用bertopic来分析文档的主题分布，在执行bertopic之后，我想计算每个文档中各个主题下的概率，我应该如何做它？

# define model
model = BERTopic(verbose=True,
                 vectorizer_model=vectorizer_model,
                 embedding_model='paraphrase-MiniLM-L3-v2',
                 min_topic_size= 50,
                 nr_topics=10)

#  train model
headline_topics, _ = model.fit_transform(df1.review_processed3)

# examine one of the topic
a_topic = freq.iloc[0]["Topic"] # Select the 1st topic
model.get_topic(a_topic) # Show the words and their c-TF-IDF scores

以下是其中一个主题的单词及其C-TF-IDF得分 image 1

我应该如何将结果更改为主题分布，以便在下面计算主题分布得分并确定主要主题？ 图像2

Answer 1

首先，要计算概率，您必须添加到模型定义calculate_probabilities = true（如果您有很多文档，这可能会减慢主题的提取，＆gt; 100000）。

# define model
model = BERTopic(verbose=True,
                 vectorizer_model=vectorizer_model,
                 embedding_model='paraphrase-MiniLM-L3-v2',
                 min_topic_size= 50,
                 nr_topics=10,
                 calculate_probabilities=True)

然后，调用fit_transform，您应该保存概率：

headline_topics, probs = model.fit_transform(df1.review_processed3)

现在，您可以创建PANDAS DataFrame，该文件框架显示每个文档各个主题下的概率。

import pandas as pd
probs_df=pd.DataFrame(probs)
probs_df['main percentage'] = pd.DataFrame({'max': probs_df.max(axis=1)})