神经网络的通用背部传播算法？

Question

我正在从头开始制作一个神经网络程序，并且正在尝试使用Python和Numpy进行广泛的梯度下降和背部传播算法。现在看起来像这样：

def back_prop(y, layers, lr=10e-8):
    for i in range(len(weights) - 1, -1, -1):
        cost = -1.0*(y - layers[i+1])
        for j in range(len(weights[i])):
            for k in range(len(weights[i][0])):
                weights[i][j][k] -= lr*2*cost[j]*layers[i][k]
                
        for j in range(len(biases[i])):
            biases[i][j] -= lr*2*cost[j]
        y = la.inv(weights[i].T @ weights[i]) @ weights[i].T @ (y - biases[i])
    return 0

在这里，y表示标签y或实际y，而层则表示向前传播后神经网络的层。该代码似乎适用于没有激活功能（或线性激活函数）的1层神经网络。 1层神经网络只是一个重量矩阵和一个偏置向量。如果我尝试制作更多的层，并且包括激活功能，则无效。 我写的线： y = la.inv（weights [i] .t @ weights [i]） @ weights [i] .t @（y- sibiases [i]） 是基于我在白板上写的一些数学，但现在似乎是错误的。我不确定如何修复此算法或如何使其与激活功能一起工作，除了线性激活函数。有人有建议吗？

编辑： 包括一些划痕工作 f 的梯度 上一层

Answer 1

我重写了数学，并弄清楚了我的问题。由此，我重写了代码，以便它现在起作用。这是新代码：

def back_prop(y, layers, lr=10e-8):
    cost = -1.0 * (y - layers[len(weights)])
    for i in range(len(weights) - 1, -1, -1):
        newcost = 1.0 * weights[i].T @ cost
        for j in range(len(weights[i])):
            for k in range(len(weights[i][j])):
                weights[i][j][k] -= lr*2*cost[j]*layers[i][k]
                
        for j in range(len(biases[i])):
            biases[i][j] -= lr*2*cost[j]
        cost = newcost
    return 0