Spacy Custentity培训什么都没有回报

Question

我有要提取颜色的描述。因此，我认为我会用spacy使用ner。 我有这样的数据，用于8000行，

import spacy
nlp=spacy.load('en_core_web_sm')

# Getting the pipeline component
ner=nlp.get_pipe("ner")

Train_data = 
[
("Bermuda shorts anthracite/black",{"entities" : [(15,31,"COL")]}),
("Acrylic antique white",{"entities" : [(8,22,"COL")]}),
("Pincer black",{"entities" : [(8,13,"COL")]}),
("Cable tie black",{"entities" : [(10,15,"COL")]}),
("Water pump pliers blue",{"entities" : [(18,22,"COL")]})
]

我的代码是

for _, annotations in Train_data:
    for ent in annotations.get("entities"):
        ner.add_label(ent[2])

pipe_exceptions = ["ner", "trf_wordpiecer", "trf_tok2vec"]
unaffected_pipes = [pipe for pipe in nlp.pipe_names if pipe not in pipe_exceptions]


from spacy.training.example import Example

for batch in spacy.util.minibatch(Train_data, size=2):
    for text, annotations in batch:
        # create Example
        doc = nlp.make_doc(text)
        example = Example.from_dict(doc, annotations)
        # Update the model
        nlp.update([example], losses=losses, drop=0.3)

测试模型时我什么都没得到的。

doc = nlp("Bill Gates has a anthracite house worth 10 EUR.")
print("Entities", [(ent.text, ent.label_) for ent in doc.ents])

我为什么做错了？ 请帮忙...

Answer 1

您的代码有几个问题。

您在哪里保存了模型？

您的代码中没有任何东西可以表明您保存并重新加载了模型。当您训练这样的模型时，您不会在磁盘上修改现有模型。如果您在训练后不保存模型，那就消失了，这意味着您没有颜色注释。

您的输入看起来不像您的培训数据！

您的输入是一个完整的句子，但是您的培训数据是孤立的短语。这将导致性能差，因为该模型不确定该如何处理颜色和动词。 （不过，您可能仍然会收到一些注释。）

---

我强烈建议您通过 spacy课程，，涵盖了培训自己的NER模型。我还强烈建议您使用基于V3配置的培训，而不是编写自己的培训循环。

Answer 2

当我尝试运行您的示例时：

for batch in spacy.util.minibatch(Train_data, size=2):
    for text, annotations in batch:
        # create Example
        doc = nlp.make_doc(text)
        example = Example.from_dict(doc, annotations)
        # Update the model
        nlp.update([example], drop=0.3)     # I took off losses from the code

运行以下代码时，我会得到：

doc = nlp("Bill Gates has a anthracite house worth 10 EUR.")
print("Entities", [(ent.text, ent.label_) for ent in doc.ents])

#output

Entities [('Bill Gates', 'PERSON'), ('10', 'CARDINAL'), ('EUR', 'ORG')]