将稀疏 scipy 矩阵加载到现有的 numpy 稠密矩阵中

Question

假设我有一个巨大的 numpy 矩阵 A 占用数十 GB。分配此内存需要花费不可忽略的时间。

假设我还有一组与 numpy 矩阵具有相同维度的 scipy 稀疏矩阵。有时我想将这些稀疏矩阵之一转换为稠密矩阵以执行一些矢量化操作。

我可以将这些稀疏矩阵之一加载到 A 中，而不是每次想要将稀疏矩阵转换为稠密矩阵时重新分配空间吗？ scipy 稀疏矩阵上可用的 .toarray() 方法似乎没有采用可选的密集数组参数，但也许还有其他方法可以做到这一点。

Answer 1

如果稀疏矩阵是 COO 格式：

def assign_coo_to_dense(sparse, dense):
    dense[sparse.row, sparse.col] = sparse.data

如果是 CSR 格式：

def assign_csr_to_dense(sparse, dense):
    rows = sum((m * [k] for k, m in enumerate(np.diff(sparse.indptr))), [])
    dense[rows, sparse.indices] = sparse.data

为了安全起见，您可能需要将以下行添加到上述每个函数的开头：

assert sparse.shape == dense.shape
dense[:] = 0

Answer 2

似乎确实应该有更好的方法来做到这一点（而且我还没有浏览文档），但是您始终可以循环遍历稀疏数组的元素并分配给密集数组（可能首先将密集数组清零） ）。如果这最终太慢，那么这似乎是一个很容易编写的 C 扩展......