为什么令牌仪会分解词汇中存在的单词

Question

在我的理解中，令牌仪的作用是，给定每个单词，只有在tokeniser.get_vocab（）中，tokeniser才会将单词分解为子字：

def checkModel(model):
    tokenizer = AutoTokenizer.from_pretrained(model)

    allList = []
    for word in tokenizer.get_vocab():
        word = word.lower()

        tokens = tokenizer.tokenize(word)
        try:
            if word[0]!='#' and word[0]!='[' and tokens[0] != word:

                allList.append((word, tokens))
                print(word, tokens)
        except:
            continue 
    return allList

checkModel('bert-base-uncased')
# ideally should return an empty list

但是，什么我观察到，即使词汇中存在单词，也会在拥抱面上的某些模型将单词分解为较小的片段。

checkModel('emilyalsentzer/Bio_ClinicalBERT')

output: 
welles ['well', '##es']
lexington ['le', '##xing', '##ton']
palestinian ['pale', '##st', '##inian']
...
elisabeth ['el', '##isa', '##beth']
alexander ['ale', '##xa', '##nder']
appalachian ['app', '##ala', '##chia', '##n']
mitchell ['mit', '##chel', '##l']
...
  
4630 # tokens in vocab got broken down, not supposed to happen

我已经检查了一些这种行为的模型，想知道为什么会发生这种情况？

Answer 1

这是一个非常有趣的问题，我目前想知道是否应该将其视为HuggingFace Repo的错误报告。

编辑：我意识到可以定义特定于模型的tokenization_config.json文件以覆盖默认行为。一个例子是 bert-base-casted casted casted存储库，具有以下内容的令牌配置：

{
  "do_lower_case": false
}

鉴于此功能可用，我认为最好的选择是联系工作的原始作者，并要求他们有可能考虑此配置（如果适合一般用例）。

原始答案：

事实证明，您要检查的词汇词是welles，但词汇文件本身仅包含welles。请注意，额外的首字母的差异？
事实证明，您可以手动迫使令牌器专门检查壳体词汇单词，在这种情况下，它可以正常运行。

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("emilyalsentzer/Bio_ClinicalBERT",
                                          do_lower_case=False)  # This is different
print(tokenizer.do_lower_case)
# Output: False

# Lowercase input will result in split word
tokenizer.convert_ids_to_tokens(tokenizer("welles")["input_ids"])
# Output: ['[CLS]', 'well', '##es', '[SEP]']

# Uppercase input will correctly *not split* the word
tokenizer2.convert_ids_to_tokens(tokenizer2("Welles")["input_ids"])
['[CLS]', 'Welles', '[SEP]']

但是，根据默认值，情况并非如此，所有单词都将转换为小写，这就是为什么您找不到单词：

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("emilyalsentzer/Bio_ClinicalBERT")

# Per default, lowercasing is enabled!
print(tokenizer.do_lower_case)

# Output: True

# This time now we get the same (lowercased) output both times!
tokenizer.convert_ids_to_tokens(tokenizer("welles")["input_ids"])
['[CLS]', 'well', '##es', '[SEP]']
tokenizer.convert_ids_to_tokens(tokenizer("Welles")["input_ids"])
['[CLS]', 'well', '##es', '[SEP]']

Answer 2

您称之为“ emilyalsentzer/bio_clinicalbert”的标记器具有原始基础令牌中不存在的令牌。要添加令牌，可以提供字符串列表或tokenizers.addedToken s的列表。

在两种情况下，默认行为是允许新单词用作子字。在我的示例中，如果我们将“导演”和“ CTO”添加到令牌机中，则可以将“导演”分解为“ dire” +'CTO' +'r'（“ dire”和“ r”是原始令牌）。为了避免这种情况，应该使用：

tokenizer.add_tokens([tokenizers.AddedToken(new_word, single_word = True) for new_word in new_words])

我确实认为很多用户只会使用字符串列表（就像我一样，直到半小时前）。但这将导致您看到的问题。

为了将其更改为自定义的令牌仪（例如'emilyalsentzer/bio_clinicalbert'），而o在模型性能方面会损失很多，我建议从此令牌中提取一组单词，并将其与其基础令牌进行比较（例如，'bert--'bert--基于基础'）。作为模型重新训练的一部分，这将为您提供一组添加到基础令牌的单词。然后使用基本令牌，并使用与Single_word设置为true的添加词向其添加此新单词。用这个新的令牌剂替换自定量令牌。