当我们使用自定义分词器时，为什么 spacy morphologizer 不起作用？

Question

我不明白为什么当我这样做时，

import spacy
from copy import deepcopy
nlp = spacy.load("fr_core_news_lg")

class MyTokenizer:
    def __init__(self, tokenizer):
        self.tokenizer = deepcopy(tokenizer)
    def __call__(self, text):
        return self.tokenizer(text)

nlp.tokenizer = MyTokenizer(nlp.tokenizer)
doc = nlp("Un texte en français.")

令牌没有分配任何变形

print([tok.morph for tok in doc])
> ['','','','','']

这是预期的行为吗？如果是，为什么？ (spacy v3.0.7)

Answer 1

管道期望 nlp.vocab 和 nlp.tokenizer.vocab 引用完全相同的 Vocab 对象，但运行后情况并非如此深复制。

我承认我并不完全确定为什么你最终会得到空分析而不是更具体的错误，但我认为 MorphAnalysis 对象集中存储在词汇表中vocab.morphology，最终导致两个词汇之间不同步。