tensorflow+yolov3训练样本，loss值不再收敛？

Question

问题描述

大家好，本人使用tensorflow+yolov3做目标识别，batch_size=32，random=0（不使用多角度训练），训练5000轮，loss值大概在4.1左右。
在此基础上，本人设置random=1，也是在5000轮的情况下，loss却到了10。我在原有的模型基础上继续训练，发现了其实中途loss收敛到4点多，然后又全局发散了，不会再收敛了。

我的推断

因为由于batch_size设置为10的时候，是一直收敛的，如果设置为32，或许越过了局部最优点。

我的问题

请问各位大侠，其实现在是不是陷入了局部最优，在局部最优点造成loss震荡，请问下一步该怎么做呢？