如何使用Spacy从磁盘加载定制的NER模型？

Question

我已经定制了NER管道，其中包括以下过程，

doc = nlp("I am going to Vallila. I am going to Sörnäinen.")
for ent in doc.ents:
    print(ent.text, ent.label_)

LABEL = 'DISTRICT'
TRAIN_DATA = [
    (
    'We need to deliver it to Vallila', {
        'entities': [(25, 32, 'DISTRICT')]
    }),
    (
    'We need to deliver it to somewhere', {
        'entities': []
    }),
]

ner = nlp.get_pipe("ner")
ner.add_label(LABEL)

nlp.disable_pipes("tagger")
nlp.disable_pipes("parser")
nlp.disable_pipes("attribute_ruler")
nlp.disable_pipes("lemmatizer")
nlp.disable_pipes("tok2vec")

optimizer = nlp.get_pipe("ner").create_optimizer()
import random
from spacy.training import Example

for i in range(25):
    random.shuffle(TRAIN_DATA)
    for text, annotation in TRAIN_DATA:
        example = Example.from_dict(nlp.make_doc(text), annotation)
        nlp.update([example], sgd=optimizer)

我试图将自定义的NER保存到磁盘上，并通过以下代码再次加载它，

ner.to_disk('/home/feru/ner')

import spacy
from spacy.pipeline import EntityRecognizer
nlp = spacy.load("en_core_web_lg", disable=['ner'])

ner = EntityRecognizer(nlp.vocab)
ner.from_disk('/home/feru/ner')
nlp.add_pipe(ner)

但是我遇到了以下错误：

----＆gt; 10 ner = EntityRecognizer（nlp.vocab） 11 ner.from_disk（'/home/feru/ner'） 12 nlp.add_pipe（ner）

〜/.local/lib/python3.8/site-ackages/spacy/pipeline/ner.pyx in spacy.pipeline.ner.entityRocognizer。 init （）

typeerror： init （）至少有2个位置参数（1给定）

此方法以从磁盘中保存和加载自定义组件似乎来自一些杂色的版本。第二个论点实体识别需要什么？

Answer 1

您遵循的一般过程将单个组件序列化并重新加载，这不是在Spacy中执行此操作的推荐方法。您可以做到 - 当然必须在内部进行 - 但是通常需要使用高级包装器保存和加载管道。在这种情况下，这意味着您可以这样保存：

nlp.to_disk("my_model") # NOT ner.to_disk

然后加载 spacy.load（“ my_model”）。

您可以在课程也。它涵盖了V3中的新基于配置的培训，这比使用您自己的自定义培训循环（如代码样本中）要容易得多。

如果您想从不同管道中混合组件，您通常仍然需要保存整个管道，然后可以使用“源”功能。