1.无约束

常用公式

线搜索准则：求步长

精确线搜索（argmin）

最速下降：sd：线性收敛

2.算法

SD

dk：付梯度=-g

newton

dk：Gkd=-g

二阶收敛，步长为1

阻尼牛顿：步长用先搜索

混合方法：反向 

LM：不正定：让他正定

 拟牛顿

引入B&H，以H代替G^-1

更新有DFG,BFGSgongshi

与sd关系

 

【人工NN】什么时候我能复现

共轭梯度法

d0=-g0；然后使用共轭梯度公式更新，使得每一次都去前一次的共轭方向

最小二乘：高斯牛顿+qr分解

3.【运筹学中的动态规划对编程似乎也很有用】

可微泛函达到极值于y0（x）=》此处变分=0

积分函数达到极值《=》欧拉方程：F_y-D/DX(F_y')=0

内点法：障碍函数

f+r(1/gi) r->0

外点法：罚函数

f+M(gi)**2 M->无穷