Spacy Matcher Is不总是匹配

Question

我无法弄清楚为什么匹配器不起作用。这有效：

test = ["14k"]

nlp = spacy.blank("en")
matcher = Matcher(nlp.vocab)

matcher.add("test", [[{"NORM": "14k"}]])

docs = []
for doc in nlp.pipe(test):
    matches = matcher(doc)
    print(matches)

但是，如果我在匹配器和文字中将14k更改为14k，则匹配器一无所获。为什么？我只想了解差异以及为什么这不起作用，以及如何将来自己对此进行故障排除。我已经查看了文档：

https：//spacy.io/api/api/matcher

and -can and Can and Can and Can and Can'弄清楚我出错了哪里。我将“ Norm”更改为Orth和Text，但仍然没有找到它。谢谢您的任何帮助。

编辑 好的，所以我做到了：

for ent in doc:
   print(ent)

对于小写的版本，Spacy将其全部录制为一个Ent，但是当我提高K时，Spacy说了这两种不同。有了这些知识，我做到了，matcher.add（“ test”，[[{“ orth”：“ 14”}，{“ orth”：“ k”}]]]），并且起作用。

我仍然想知道为什么。 Spacy为什么认为14K是一个“单词”，而14k是两个“单词”？

Answer 1

看来您可能会遇到这种序列的令牌化差异的问题。尤其要注意的是，看起来像温度的事物（因此数字 + [fck]）可能会得到特殊治疗。这似乎很奇怪，但通常会导致与现有语料库的兼容性更好。

您可以找出为什么使用tokenizer.explain（）这样的输入将输入归为特定方式：

import spacy

nlp = spacy.blank("en")
print(nlp.tokenizer.explain("14K"))
print("...")
print(nlp.tokenizer.explain("14k"))

提供输出：

[('TOKEN', '14'), ('SUFFIX', 'K')]
...
[('TOKEN', '14k')]

您可以在 tokenizer.tokenizer.explain docs 。