凹凸性

一元函数

• 凸函数：二阶导数>0
  $f(x)=x^2$的二阶导数是 2，>0
• 凹函数：二阶导数<0

驻点，拐点

驻点：增减性的交替点
拐点：凹凸性的交替点

脑补 $f(x)=sinx$
在 π/2，π3/4是驻点
在 π位置，是拐点

雅可比矩阵

多元函数的一阶偏导数矩阵
$y=f(x)$，其中x是n维向量，表示有n哥未知数，即n个自变量，y是k维的向量，表示函数对应关系计算返回k个因变量

$y_i=f(x_i)$，其中$x_i$和每个$y_i$都是相关的，也就是每个$y_i$是单独从$x_i$映射过来的函数。

函数$f(x)$的雅可比矩阵就是每个$y_i$分别对每个$x_i$求偏导，然后构成的矩阵叫做雅可比矩阵
$\left[\begin{array}{cccc}\frac{\partial y_1}{\partial x_1}& \frac{\partial y_1}{\partial x_2}& ...& \frac{\partial y_1}{\partial x_n}\\ \frac{\partial y_2}{\partial x_1}& \frac{\partial y_2}{\partial x_2}& ...& \frac{\partial y_2}{\partial x_n}\\ ...& ...& ...& ...\\ \frac{\partial y_k}{\partial x_1}& \frac{\partial y_k}{\partial x_2}& ...& \frac{\partial y_k}{\partial x_n}\end{array}\right]$

雅可比矩阵示例

$\left\{\begin{array}{c}{y}_1\\ y_2\end{array}\right\}⟹\begin{array}{c}{y}_1=x_1^2+3x_1{x}_2+2x_3\\ y_2=2x_2-2x_1{x}_2+x_3^2\end{array}⟹\left\{\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right\}$

自变量$x_1,x_2,x_3$根据函数$f(x)$映射为因变量$y_1,y_2$，那么$y_1$是$x_1,x_2,x_3$的函数，$y_2$也是$x_1,x_2,x_3$的函数，那么函数$f(x)$的雅可比矩阵如下：

6.Hessian矩阵

多元函数的二阶偏导数矩阵，一般是对称矩阵
$\left[\begin{array}{cccc}\frac{{\partial }^2{y}_1}{{\partial }^2{x}_1}& \frac{{\partial }^2{y}_1}{\partial x_1{x}_2}& ...& \frac{{\partial }^2{y}_1}{{\partial }^2{x}_1{x}_n}\\ \frac{{\partial }^2{y}_2}{\partial x_2{x}_1}& \frac{{\partial }^2{y}_2}{{\partial }^2{x}_2}& ...& \frac{\partial y_2}{\partial x_2{x}_n}\\ ...& ...& ...& ...\\ \frac{{\partial }^2{y}_k}{\partial x_n{x}_1}& \frac{{\partial }^2{y}_k}{\partial x_n{x}_2}& ...& \frac{{\partial }^2{y}_k}{{\partial }^2{x}_n}\end{array}\right]$

7.极致判定法则

实对称矩阵正定负定判定

实对称矩阵A正定负定判定条件：

1. 对于任意向量$\vec{v}\ne 0$，都有${\vec{v}}^{T}A\vec{v}>0$，那么A就是正定矩阵；
2. 对于任意向量$\vec{v}\ne 0$，都有${\vec{v}}^{T}A\vec{v}<0$，那么A就是负定矩阵；

实对称矩阵A负定，代码演示：

import numpy as np

A = np.array([[-2, -3, -1], 
              [-3, -6, -4], 
              [-1, -4, -5]])
v = np.array([3, 5, 6])
print('给定向量任意向量v：', v)
print('求解矩阵A正定判定条件结果是：', v.T.dot(A).dot(v))

给定向量任意向量v： [3 5 6]
求解矩阵A正定判定条件结果是： -714

实对称矩阵A正定，代码演示：

import numpy as np

A = np.array([[5, 1, -4], 
              [1, 3, -2], 
              [-4, -2, 7]])
v = np.array([-5, 2, -3])
print('给定向量任意向量v：', v)
print('求解矩阵A正定判定条件结果是：', v.T.dot(A).dot(v))

给定向量任意向量v： [-5  2 -3]
求解矩阵A正定判定条件结果是： 84

根据特征值正负判定矩阵正定与否

• 对称矩阵A的特征值全部$>0$，A是正定矩阵
• 对称矩阵A的特征值全部$<0$，A是负定矩阵
• 对称矩阵A的特征值有的$>0$，有的$<0$是不定矩阵
• 对称矩阵A的特征值有的$\ge 0$，A是半正定矩阵
• 对称矩阵A的特征值有的$\le 0$，A是半负定矩阵

import numpy as np

A = np.array([[5, 1, -4], 
              [1, 3, -2], 
              [-4, -2, 7]])
w, v = np.linalg.eig(A)
print('矩阵的特征向量是：', v, '\n特征值是：', w)

矩阵的特征向量是： [[-0.58123713 -0.60851363 -0.54025416]
 [-0.27299496 -0.4796241   0.83392714]
 [ 0.76657495 -0.63219608 -0.11265418]] 
特征值是： [10.74515039  1.63251546  2.62233415]

上面代码得出的A的特征值都是正数，所以A是正定矩阵。
那么：什么是特征值呢？特征值eigenvalue与特征向量eigenvector

8. 二次型