为什么word_index的长度大于num_words？

Question

我有一个关于深度学习文本预处理的代码：

from keras.preprocessing.text import Tokenizer
from keras.preprocessing.sequence import pad_sequences

tokenizer = Tokenizer(num_words = 10000)
tokenizer.fit_on_texts(X)
tokenizer.word_index

但是当我检查 tokenizer.word_index 的长度时，在知识中安全地获得 10000，我得到 13233。X 的长度等于 11541（包含 11541 的数据帧列，不过，如果有必要知道的话）。所以我的问题出现了：词汇量是多少？ num_words 还是 word_index 的长度？看来我已经糊涂了！任何帮助表示赞赏。

Answer 1

根据官方文档，参数num_words 是，

根据词频保留的最大单词数。仅保留最常见的 num_words-1 个单词。

word_index 将保存文本中出现的所有单词。但当您使用 Tokenizer.texts_to_sequences 时会观察到差异。例如，让我们考虑一些句子，

texts = [
    'hello world' , 
    'hello python' , 
    'python' , 
    'hello java' ,
    'hello java' , 
    'hello python'
]
# Frequency of words, hello -> 5, python -> 3 , java -> 2 , world -> 1
tokenizer = tf.keras.preprocessing.text.Tokenizer( num_words=3 )
tokenizer.fit_on_texts( texts )
print( tokenizer.word_index )

上面代码片段的输出将是，

{'hello': 1, 'python': 2, 'java': 3, 'world': 4}

根据文档，前 num_words-1 个单词（基于它们的频率）只能在转换单词时使用到指数。在我们的例子中，num_words=3，因此我们希望 Tokenizer 仅使用 2 个单词进行转换。 texts 中最常见的两个单词是 hello 和 python。考虑此示例来检查 texts_to_sequences 的输出。

input_seq = [
    'hello' , 
    'hello java' , 
    'hello python' , 
    'hello python java'
]
print( tokenizer.texts_to_sequences( input_seq ) )

输出，

[[1], [1], [1, 2], [1, 2]]

观察到在第一句中，hello 按预期进行编码。在第二句话中，单词 java 未编码，因为它未包含在词汇表中。在第三句话中，同时包含单词 hello 和 python，这是我们假设的预期行为。在第四句中，单词 java 未在输出中进行编码。

所以我的问题出现了：词汇量是多少？ num_words 或 word_index 的长度？

您可能已经理解，num_words 是词汇大小，因为只有这么多单词在输出中进行编码。其余的单词，在我们的例子中，java 和 world 在转换中被简单地省略。