如何通过单元格在多个2D阵列上获得标准偏差？

Question

我有16个2d阵列，每个阵列的形状为[16000，16000]，这意味着一个阵列具有256000000个单元格。我想拥有一个std_array，它是16个阵列中每个单元格的标准偏差。我尝试了一些东西，但失败了，我的问题大胆。

这是我的尝试。例如（简化3*3个数组）：

a = np.array([[1,2,3],[1,2,3],[1,2,3]])
b = np.array([[2,3,4],[2,3,4],[2,3,4]])
c = np.array([[3,4,5],[3,4,5],[3,4,5]])

stack = np.vstack((a,b,c))
var = np.std(stack, axis = 0)

但是，NP.STD函数仅返回3个值，但是我想要9。我该怎么办？

[0.81649658 0.81649658 0.81649658]

此外，当我在堆叠的 -阵列，我得到了这个错误。这只是意味着我的阵列太大而无法操作？

MemoryError: Unable to allocate array with shape (256000, 16000) and data type float32

Answer 1

在您的示例中，np.vstack((a,b,c)) 只是堆叠每个数组的所有行，结果如下：

array([[1, 2, 3],
       [1, 2, 3],
       [1, 2, 3],
       [2, 3, 4],
       [2, 3, 4],
       [2, 3, 4],
       [3, 4, 5],
       [3, 4, 5],
       [3, 4, 5]])

计算沿轴 0 或 1 的标准差不满足您的要求。

相反，您可以向每个数组添加一个新维度，以便将它们堆叠在一个新维度中：

stack = np.vstack([a[None], b[None], c[None]])
stack.std(axis=2)

在本例中 stack 为：

array([[[1, 2, 3],   <-- array `a`
        [1, 2, 3],
        [1, 2, 3]],

       [[2, 3, 4],   <-- array `b`
        [2, 3, 4],
        [2, 3, 4]],

       [[3, 4, 5],   <-- array `c`
        [3, 4, 5],
        [3, 4, 5]]])

结果是形状为 (3,3)< 的二维数组/code> 其中标准偏差是根据分别来自 3 个数组中的每一个的 3 个值计算的。

问题是构建一个巨大的数组，因此稍后减少它的内存效率不高。相反，您可以迭代这些行来构建更小的数组：

result = np.empty(a.shape, dtype=np.float64)
for i in range(a.shape[0]):
    stacked_line = np.vstack([a[i, None], b[i, None], c[i, None]])
    result[i,:] = stacked_line.std(axis=0)

为了获得更高的性能，您可以使用 Numba 来避免创建许多构建和填充成本高昂的大数组（Numpy 强制）。