模型不收敛是怎么回事？
模型不收敛是怎么回事？
人工
人工智能技术与咨询
北京龙腾亚太教育咨询有限公司，致力于高科技信息化领域人才培养，凭借优秀的专业内训课程设计赢得客户认可，依靠行业内顶尖的公开课打开市场，凭借专业的行业咨询和终极服务为客户指引发展，在业界内留下了良好的口碑。137-1652-2485（v同号），欢迎前来咨询！
评论 (1)
后参与评论
12
123456超过 3 年前
1、反向传播链断裂
即其中有部分的变量可能被转换为 numpy 数组，虽然仍然能够参与计算，但却失去了梯度传播的能力，导致无法向后面的变量传播梯度
2、学习率设置不合理
如果学习率设置得太大，则容易造成 loss 变成 nan，导致模型不收敛，设置得太小，则会导致模型学习得很慢
3、神经网络层参数没有进行好的参数初始化
因为参数初始化会影响到模型的训练速度