视频链接：7.1 神经网络优化的特点_哔哩哔哩_bilibili

神经网络优化的特点

网络优化的难点

（1）网络结构差异大：不同模型之间的结构差异大——没有通用的优化算法、超参数多

（2）非凸优化问题：导致得到的最优解可能是全局最优解——参数如何初始化、如何逃离局部最优或鞍点

（3）梯度消失和爆炸问题：当网络非常深时，靠下的层的参数的梯度要么接近0，要么非常大，十分难优化

高维空间中的非凸优化问题

低维空间中的非凸优化问题要解决的核心问题是如何逃离f'(x)=0的局部最优解

而在高维空间中的非凸优化问题要解决的核心问题是如何逃离鞍点

鞍点：梯度为0的点

鞍点在某些维度上是局部最小点，而在某些维度上是局部最大点