如何从单词袋数据集中创建有效的术语矩阵

Question

我正在尝试 uci单词袋。我已将文档ID，单词（单词ID）和单词计数读取为三个单独的列表。这些列表的前10个项目与以下内容相似：

['1', '1', '1', '1', '1', '2', '2', '2', '3', '3'] #docIDs
['118', '285', '129', '168', '20', '529', '6941', '7', '890', '285'] #wordIDs
['1', '1', '1', '1', '2', '1', '1', '5', '1', '1'] #count

我不知道如何从这些列表中制作术语文档矩阵，而没有任何冗余。我想将行变成文档，列为WordID，并将相应的单元格值变成单词计数。使用Python（Pandas）做到这一点的有效方法是什么？

Answer 1

我认为这回答了您的问题：

列表：

docid = ['1', '1', '1', '1', '1', '2', '2', '2', '3', '3'] #docIDs
wordid = ['118', '285', '129', '168', '20', '529', '6941', '7', '890', '285'] #wordIDs
counted = ['1', '1', '1', '1', '2', '1', '1', '5', '1', '1'] #count

单独列中的每个列表的dataFrame：

df = pd.DataFrame([docid, wordid, counted],
                  index = ["docIDs", "wordIDs", "count"]).T

将索引旋转为“ docIds”，列为“ wordids”，值为“ count”：

df = df.pivot(index="docIDs", columns="wordIDs", values="count")

output：output：

#wordIDs  118  129  168   20  285  529 6941    7  890
#docIDs                                              
#1          1    1    1    2    1  NaN  NaN  NaN  NaN
#2        NaN  NaN  NaN  NaN  NaN    1    1    5  NaN
#3        NaN  NaN  NaN  NaN    1  NaN  NaN  NaN    1

---

另外，您可以使用unspack unstack （）通过将所需的索引和列设置为索引，然后取消列表：

df.set_index(["docIDs", "wordIDs"])["count"].unstack("wordIDs")

产生相同结果的列。这应该使用更少的内存。