Huggingface 空白标记生成器不“快”

Question

我想在预先标记化的文本上运行 NER，并具有以下代码：

from tokenizers.pre_tokenizers import Whitespace
#from transformers import convert_slow_tokenizer
from transformers import AutoModelForTokenClassification

model = AutoModelForTokenClassification.from_pretrained("dslim/bert-base-NER")
wstok = Whitespace()
#wstok = convert_slow_tokenizer.convert_slow_tokenizer(wstok)
ner_pipe = pipeline("ner", model=model, tokenizer=wstok)
tokens = ['Some', 'example', 'tokens', 'here', '.']
entities = ner_pipe(' '.join(tokens))

这给了我以下错误：

AttributeError：“tokenizers.pre_tokenizers.Whitespace”对象没有属性“is_fast”

在我看来，简单的空白标记化应该相当“快”，但这可能不是他们在这里的意思:)。

我看过 这篇 帖子（因此注释掉的行在代码片段中），但这告诉我 Whitespace 类不属于可以转换的类。

有人对如何在 Huggingface 中获得快速空白标记生成器有任何想法吗？