启动时用标签在子字符串中的最佳标记单词在＆amp;提供结尾指数[Python]

Question

我正在尝试以串联格式格式化数据以进行NER任务（此信息在很大程度上无关紧要）。我要最佳实现的是 -

输入：

• text：快速棕色狐狸跳过懒惰的狗。
• indices： 10 -18 （棕色狐狸）， 35-42 （懒狗）

所需的输出：

The        O
quick      O
brown      X
fox        X
jumps      O
over       O
the        O
lazy       Y
dog        Y
.          O

是否有单个通行方法来执行此操作（因为我有一个很多例子 - 超过100k）？

Answer 1

编辑：修订后的输入

输入：

s = "The quick brown fox jumps over the lazy dog."
s = s.replace(".","")
tag_indices = { "X" : [[10,18], [20, 25]], "Y" : [[35, 42]]}

其他单词的正常标签

normal_tag = "O"

添加句子中所有单词的

words = s.split(" ")
tagged_words = {w:normal_tag for w in words}

，首先用 normal_tag 现在浏览每个标签，并在输入 tag_indices 。对于索引中的每个（启动，结束），将输入字符串切成 substring 。

对于此子字符串中的每个单词，将其适当地标记。

for tag,indices in tag_indices.items():
    for start,end in indices:
        substring = s[start:end+1]
        for word in substring.split(" "):
            if len(word)>0:
                tagged_words[word] = tag

最终输出是在 tagged_words 字典

for k,v in tagged_words.items():
    print(k,v)

输出中：

The O
quick O
brown X
fox X
jumps X
over O
the O
lazy Y
dog Y