两种： 一、随机搜索方法 模拟退火算法 趋化算法 扩散算法 遗传算法 二、基于梯度的算法 根据目标函数导数阶数不同分为：一阶算法和二阶算法 一阶算法： 误差反传算法 带有动量的误差反传算法 二阶算法： 牛顿法 Davidon-Fletcher-Powell Broyden-Fltcher-GoldfarbShanno 一步正切发 共轭梯度法 比例共轭梯度法