IR：如何根据索引值匹配文档并返回文档？

Question

我有一个熊猫数据框架 df ，它的基于其BM25分数排名的语料库中的前10个文档，并由其 doc_id 索引。

DOC_ID	等级	BM25分数
1234	1	3.3472
5678	2	3.3238

我也有一个列表文档包含所有文档与其 doc_id ： [['first doc_id'，'第一个doc文本]，['second doc_id'，'第二doc text]，...] 。

我需要在 df 中使用 doc_id ，并在 df 中使用 doc_ /代码>并打印出文档文本。我知道如何通过执行 df 来获取特定等级的 doc_id 。 /code>，但我不确定如何从那里获取相应的文档文本。

Answer 1

您可以将列表转换为dataframe和代码> ：

documents = [[1234, 'First doc text'],
             [5678, 'Second doc text'],
             [5679, 'Third doc text'],
             [5680, 'Fourth doc text']]

(df[df['Rank'].le(3)]
 .merge(pd.DataFrame(documents,
                     columns=['Doc_ID', 'Text']),
        on='Doc_ID')
)

输出：

   Doc_ID  Rank  BM25 Score             Text
0    1234     1      3.3472   First doc text
1    5678     2      3.3238  Second doc text
2    5679     3      3.2000   Third doc text

二手输入：

   Doc_ID  Rank  BM25 Score
0    1234     1      3.3472
1    5678     2      3.3238
2    5679     3      3.2000
3    5680     4      3.1000

或者，如果您想要使用python的列表：

top3 = set(df.loc[df['Rank'].le(3), 'Doc_ID'])
out = [text for ID, text in documents if ID in top3]

output： ['first doc text'，'第二doc text'，'第三doc text'] >