SCI-KIT TF-IDF-不确定TD-IDF数组的解释吗？

Question

我有一个数据框的子集，例如：

<OUT>
PageNumber    Top_words_only
56            people sun flower festival 
75            sunflower sun architecture red buses festival

我想在English_tags DF列上计算TF-IDF，每行充当文档。我已经尝试过：

Vectorizer = TfidfVectorizer(lowercase = True, max_df = 0.8, min_df = 5, stop_words = 'english')
Vectors = Vectorizer.fit_transform(df['top_words_only'])

如果我打印数组，它会出现：

array([[0.        , 0.        , 0.        , ..., 0.        , 0.35588179,
        0.        ],
       [0.        , 0.        , 0.        , ..., 0.        , 0.        ,
        0.        ],
       [0.        , 0.        , 0.        , ..., 0.        , 0.        ,
        0.        ],
       ...,
       [0.        , 0.        , 0.        , ..., 0.        , 0.        ,
        0.        ],
       [0.        , 0.        , 0.        , ..., 0.        , 0.        ,
        0.        ],
       [0.        , 0.        , 0.        , ..., 0.        , 0.        ,
        0.        ]])

但是我对这意味着什么感到有些困惑 - 为什么有这么多的o值？实现tfidfvectorizer（）是否会考虑所有文档（IE corpus）自动计算每个标签的TF-IDF值？

Answer 1

调用fit_transform计算每个提供的文档的向量。每个向量的大小相同。向量的大小是所提供文档中唯一单词的数量。向量中的零值数将是向量大小 - 文档中唯一值的数量。

将您的top_words作为一个简单的示例。您显示2个文档：

'people sun flower festival'
'sunflower sun architecture red buses festival'

这些总共有8个唯一单词（vectorizer.get_feature_names_out（）将为您提供这些）：

'architecture', 'buses', 'festival', 'flower', 'people', 'red', 'sun', 'sunflower'

呼叫fit_transform，其中这2个文档将提供2个矢量（ 1对于每个文档），每个文档的长度为8（文档中的唯一单词数）。

第一个文档'People Sun Flower Festival'有4个单词，因此，矢量中有4个值，4个零值。同样，'向日葵太阳建筑红色巴士节'提供6个值和2个零。

您用不同的单词传递的文档越多，向量得出的时间越长，零的可能性就越大。

from sklearn.feature_extraction.text import TfidfVectorizer

top_words = ['people sun flower festival', 'sunflower sun architecture red buses festival']

Vectorizer = TfidfVectorizer()
Vectors = Vectorizer.fit_transform(top_words)

print(f'Feature names: {Vectorizer.get_feature_names_out().tolist()}')
tfidf = Vectors.toarray()
print('')
print(f'top_words[0] = {top_words[0]}')
print(f'tfidf[0] = {tfidf[0].tolist()}')
print('')
print(f'top_words[1] = {top_words[1]}')
print(f'tfidf[1] = {tfidf[1].tolist()}')

以上代码将打印：

Feature names: ['architecture', 'buses', 'festival', 'flower', 'people', 'red', 'sun', 'sunflower']

top_words[0] = people sun flower festival
tfidf[0] = [0.0, 0.0, 0.40993714596036396, 0.5761523551647353, 0.5761523551647353, 0.0, 0.40993714596036396, 0.0]

top_words[1] = sunflower sun architecture red buses festival
tfidf[1] = [0.4466561618018052, 0.4466561618018052, 0.31779953783628945, 0.0, 0.0, 0.4466561618018052, 0.31779953783628945, 0.4466561618018052]