如何标记多词实体？

Question

我对数据分析（以及一般的Python）还很陌生，而且我目前在我的项目中有点陷入困境。

对于我的 NLP 任务，我需要创建训练数据，即查找句子中的特定实体并标记它们。我有多个 csv 文件，其中包含我要查找的实体，其中许多由多个单词组成。我使用 spaCy 对未标记的句子进行了标记和词形还原，并将它们加载到 pandas.DataFrame 中。

我的主要问题是：现在如何将标记化句子与实体列表进行比较并标记（通常是多个单词）实体？拥有大约 0.5 GB 的句子，我认为只 for 循环每个句子，然后 for 循环每个类列表中的每个实体并进行简单的子字符串搜索是不可行的。有没有什么聪明的方法可以使用 pandas.Series 或 DataFrame 来进行此标记？

如前所述，我对 pandas/numpy 等确实没有任何经验，并且经过大量网络搜索后，我似乎仍然没有找到问题的答案

说这是 Finance.csv 的样本，其中之一我的实体列表：

"Frontwave Credit Union",
"St. Mary's Bank",
"Center for Financial Services Innovation",
...

这是 sport.csv 的一个样本，另一个我的实体列表：

"Christiano Ronaldo",
"Lewis Hamilton",
...

以及一个示例（愚蠢）句子：

"Dear members of Frontwave Credit Union, any credit demanded by Lewis Hamilton is invalid, said Ronaldo"

我想要的结果类似于带有匹配实体标签的标记表（带 IOB 标签）：

"Dear "- O
"members" - O
"of" - O
"Frontwave" - B-FINANCE
"Credit" - I-FINANCE
"Union" - I-FINANCE
"," - O
"any" - O
...
"Lewis" - B-SPORT
"Hamilton" - I-SPORT
...
"said" - O
"Ronaldo" - O

Answer 1

使用：

FINANCE = ["Frontwave Credit Union",
"St. Mary's Bank",
"Center for Financial Services Innovation"]

SPORT = [
    "Christiano Ronaldo",
    "Lewis Hamilton",
]

FINANCE = '|'.join(FINANCE)
sent = pd.DataFrame({'sent': ["Dear members of Frontwave Credit Union, any credit demanded by Lewis Hamilton is invalid, said Ronaldo"]})
home = sent['sent'].str.extractall(f'({FINANCE})')

def labeler(row, group):
    l = len(row.split())
    return [f'I-{group}' if i !=0 else f'B-{group}' for i in range(l)]

home[0].apply(labeler, group='FINANCE').explode()