为什么拥抱面T5代币器忽略了某些空格？

Question

我正在使用T5模型和令牌仪进行下游任务。我想将某些Whitespaces添加到令牌器中，例如线结束（\ t）和TAB （\ t）。添加这些代币工作，但是以某种方式，令牌仪总是忽略第二个空格。因此，它将序列化“ \ n \ n” 作为单行结束，序列“ \ n \ n \ n \ n \ n \ n” 被标记为两个行结尾等等。请参阅下面的复制。

from transformers import T5Tokenizer
tokenizer = T5Tokenizer.from_pretrained("t5-large")
tokenizer.add_tokens(["\n"])

tokenizer.encode("\n") # returns [32100, 1] as expected
tokenizer.encode("\n\n") # returns [32100, 1] but expected would be [32100, 32100, 1]
tokenizer.encode("\n\n\n\n") # returns [32100, 32100, 1] but expected would be [32100, 32100, 32100, 32100, 1]

这种行为背后的原因是什么？它是一个错误还是与代币机的工作方式相关的？我注意到，这仅是对添加的空格而发生的，而不会发生其他字符。

有没有方法可以防止令牌忽略重复的空格？

Answer 1

该行为是通过 tokenize 方法 t5tokenizer strips strips strips代币中如何解释的。可以做的是将令牌' \ n '作为令牌机的特殊令牌。由于特殊令牌从未分开，因此可以按预期工作。

这有点骇客，但似乎有效。

from tokenizers import AddedToken
tokenizer.add_special_tokens({"additional_special_tokens": [AddedToken("\n")]})
print(tokenizer.special_tokens_map)

然后，它可以将'\ n'示为无事。请注意，ADDOKEN很重要，因为以下内容确实而不是工作。

tokenizer.add_special_tokens({"additional_special_tokens": ["\n"]})

编辑

在花费更多时间之后 ，我实际上找到了一种将其添加为普通令牌而无需使用特殊令牌的方法。该问题的主要原因是即使在令牌化之前就发生的归一化过程。当您添加新令牌时，您可以指定是否应该将其标准化。通过将标准化为false，您可以避免使用添加令牌的连续剥离。

from tokenizers import AddedToken
tokenizer.add_tokens(AddedToken("\n", normalized=False))

您可以在此链接上找到更多信息：