残差神经网络训练慢、如何改善？

Question

我的残差网络32层的、训练cifar10、训练了一晚上加一上午、训练集上的准确率只有百分之88左右、在测试集上只有百分之84、请大神指点一下这种情况一般要怎么调参才能改善？

Answer 1

从准确率的曲线来看, 很有可能网络陷入局部极小值，可以尝试如下的调整：

1. 可以将优化器改为带Momemtum的SGD优化器(如果不是使用SGD的话)，同时可以适当降低batch_size。
2. 可以尝试使用lr_schedule来手动调整学习率。
3. 可以尝试其他的参数初始化方法，比如kaiming_norm。

这是github上的一个cifar10分类项目， 可以参考这里
仅供参考，希望可以帮到你。