有没有办法将 nltk 特征集转换为 scipy.sparse 数组？

Question

我正在尝试使用 scikit.learn ，它需要 numpy/scipy 数组作为输入。 nltk 中生成的特征集由一元词和二元词频率组成。我可以手动完成，但这会花费很多精力。所以想知道是否有我忽略的解决方案。

Answer 1

Jacob Perkins 做了一个使用 scikit-learn 分类器训练 NLTK 分类器的桥梁，它的来源正是：

https://github.com/japerk/nltk-trainer/blob/master/nltk_trainer/classification/sci.py

如果您使用的是 0.9+ 版本，则应更新包导入行。

Answer 2

据我所知，但请注意 scikit-learn 本身可以进行 n-gram 频率计数。假设单词级 n-gram：

from sklearn.feature_extraction.text import CountVectorizer, WordNGramAnalyzer
v = CountVectorizer(analyzer=WordNGramAnalyzer(min_n=1, max_n=2))
X = v.fit_transform(files)

其中 files 是字符串或类文件对象的列表。之后，X 是原始频率计数的 scipy.sparse 矩阵。