从Python中的稀疏SKU数据创建邻接矩阵

Question

我有大约6000个SKU和250,000 OBS的电子商务数据。下面简单的版本，但稀疏得多。每行只有一个SKU，因为每行都是交易。

我拥有的：

|Index| ID  | SKU1| SKU2 | SKU3| 
|:----|:----|:----|:-----|:----|
| 1   | 55  |  1  |  0   |  0  |
| 2   | 55  |  0  |  1   |  0  |
| 3   | 55  |  0  |  0   |  1  |
| 4   | 66  |  0  |  1   |  0  |
| 5   | 66  |  1  |  0   |  0  |
| 6   | 77  |  0  |  1   |  0  |

我想创建一个加权的无向邻接矩阵，以便我可以在市场篮子上进行一些图形分析。看起来像下面，在这里，Sku2和Sku1在55和66的篮子中一起购买，因此总重量为2。

我想要的是：

|Index| SKU1| SKU2| SKU3 | SKU4| 
|:----|:----|:----|:-----|:----|
| SKU1|  0  |  2  |  1   |  0  |
| SKU2|  2  |  0  |  0   |  0  |
| SKU3|  1  |  0  |  0   |  0  |
| SKU4|  0  |  0  |  0   |  0  |

我尝试通过原始DF进行循环迭代。但是它立即崩溃了。

理想情况下，我将通过ID列折叠第一个数据帧，但不会汇总，因为同一项目和相同ID没有重复的交易。但是，当我尝试使用df.groupby（['id']））。计数（）时，我会得到以下内容。当我删除.count（）时，没有输出。我敢肯定，还有另一种方法可以做到这一点，但似乎在文档中找不到它。

我尝试的是：df.groupby（['id']）。count（）

| ID  | SKU1| SKU2 | SKU3| 
|:----|:----|:---- |:----|
| 55  |  3  |  3   |  3  |
| 66  |  2  |  2   |  2  |
| 77  |  1  |  1   |  1  |

有人知道我如何在不立即崩溃的情况下生成稀疏矩阵吗？

Answer 1

计数还计数零。取而代之的是汇总，然后转换为0和1。

agg = df.groupby('ID').agg('sum')
agg = (agg > 0).astype(int)

    SKU1    SKU2    SKU3
ID          
55  1       1       1
66  1       1       0
77  0       1       0

将其变成出现表，并出于任何原因将对角线填充0。

occurrence = np.dot(agg.T, agg)
np.fill_diagonal(occurrence, 0)

将其返回到数据框架中

pd.DataFrame(occurrence, columns=df.columns[1:], index=df.columns[1:])

        SKU1    SKU2    SKU3
SKU1    0       2       1
SKU2    2       0       1
SKU3    1       1       0