longtengyatai
北京龙腾亚太教育咨询有限公司，致力于高科技信息化领域人才培养，凭借优秀的专业内训课程设计赢得客户认可，依靠行业内顶尖的公开课打开市场，凭借专业的行业咨询和终极服务为客户指引发展，在业界内留下了良好的口碑。137-1652-2485（v同号），欢迎前来咨询！
待分类 • 2 回帖 • 770 浏览 • 1 年前
北京龙腾亚太教育咨询有限公司，致力于高科技信息化领域人才培养，凭借优秀的专业内训课程设计赢得客户认可，依靠行业内顶尖的公开课打开市场，凭借专业的行业咨询和终极服务为客户指引发展，在业界内留下了良好的口碑。137-1652-2485（v同号），欢迎前来咨询！
待分类 • 2 回帖 • 770 浏览 • 1 年前
优化神经网络训练方法有哪些？
优化神经网络训练方法有哪些？
1 考虑换一种学习率 schedule
2 在 DataLoader 中使用多个 worker 和页锁定内存
3 把 batch 调到最大
4 使用自动混合精度（AMP）
5 考虑使用另一种优化器
6 cudNN 基准
7 使用梯度积累
8 使用梯度裁剪
模型不收敛是怎么回事？