matlab神经网络梯度下降和均方误差

Question

我想知道梯度下降算法如何在 matlab 网络训练中工作以及如何计算 MSE - 我有自己的应用程序，但它不能像 matlab nn 一样工作，我想知道为什么。 我的算法看起来像这样：

    foreach epoch
       gradient_vector = 0 // this is a vector
       rmse = 0

       foreach sample in data set
          output = CalculateForward(sample.input)
          error  = sample.target - output
          rmse += DotProduct(error,error)
          gradient_part = CalculateBackward(error)
          gradient_vector += (gradient_part / number_of_samples)
       end

       network.AddToWeights( gradient_vector * learning_rate)
       rmse = sqrt(rmse/number_of_samples)

    end

我的算法与 matlab 的类似吗？

Answer 1

它看起来与 MATLAB 的功能很接近，但请记住，该工具箱是为广泛的应用程序而设计的。您的算法在每个时期将每个数据条目提供给网络一次。 Matlab 的工具箱可以在每个 epoch 多次呈现数据，每个 epoch 多次更新，并且可以通过多种方式更新。我向您保证，您的确切方法可以使用现有的 matlab 工具箱进行复制，但需要进行非常具体的设置，可以通过深入研究您正在使用的神经网络的帮助文件来找到该设置。其中一些可能比其他的更接近你正在做的事情，所以要敏锐。祝你好运！