“训练卡住Loss不再下降” 不等于 “梯度很小接近0”当遇到“训练卡住”时不要只检查梯度是否消失如果梯度还在剧烈震荡但 Loss 不动说明优化器可能陷入了平坦区域上方的 Loss 图在迭代次数超过 300 之后Loss 基本变成了一条平直线不再下降也就是“训练卡住了”。下方的 Gradient Norm 图如果你看红圈圈出来的地方对应 Loss 平坦的区间梯度的范数Norm of Gradient并不小它仍然在剧烈地上下震荡。客制化learning-rate第一个学习率持续下降第二个习率先变大后变小第一个是普通梯度下降第二个是考虑gradient的大小和方向是考虑大小