参考：https://www.bilibili.com/video/BV1mM411r7ko?p=1&vd_source=260d5bbbf395fd4a9b3e978c7abde437

唐宇迪：机器学习数学基础

高数（积分部分）

1.1 函数

表示量与量之间的关系：$A=\pi r^2$

一组输入输出关系：一组输入唯一对应一组输出

$$y=f(x)\{\begin{array}{rl}& x:自变量\\ & y_0=y{|}_{x=x_0}=f(x_0)\end{array}$$

1.1.1 函数分类

输入是否与时间有关

• 是：动态函数
• 否：静态函数

输入是否为标量

• 是：一元函数
• 否：多元函数

1.1.2 常见函数

指/对数函数

$f(x)=e^x$

$f(x)=log(x)$

分段函数

$$f(x)=\{\begin{array}{rlr}& \sqrt{x}& ,x\ge 0\\ & -\sqrt{x}& ,x<0\end{array}$$

原函数&反函数

原函数 $h=h(t)$ ：$h=\frac{1}{2}g{t}^2$

反函数 $t=t(h)$ ：$t=\sqrt{\frac{2h}{g}}/t=-\sqrt{\frac{2h}{g}}(需要附加条件，才能确定具体反函数)$

sigmod函数

$s(x)=\frac{1}{1+e^{-x}}=\frac{e^x}{e^x+1}，x\in (-\infty ,+\infty ),y\in (0,1)$

Relu函数(非负函数)

f ( x ) = x + = m a x { 0 , x } f(x)=x^+=max\{0,x\} f(x)=x+=max{0,x}

• 无梯度消失问题

复合函数

$(g\circ f)(x)$ 表示 $g(f(x))$ ——通道

向量到张量

$\vec{a}=\left(\begin{array}{r}{\sigma }_1\\ {\sigma }_2\\ {\sigma }_3\end{array}\right),\vec{b}=\left({\sigma }_1^{\prime },{\sigma }_2^{\prime },{\sigma }_3^{\prime }\right)$

张量：
$$\sigma =\vec{a}\otimes \vec{b}=\left(\begin{array}{ccc}{\sigma }_{11^{\prime }}& {\sigma }_{12^{\prime }}& {\sigma }_{13^{\prime }}\\ {\sigma }_{21^{\prime }}& {\sigma }_{22^{\prime }}& {\sigma }_{23^{\prime }}\\ {\sigma }_{31^{\prime }}& {\sigma }_{32^{\prime }}& {\sigma }_{33^{\prime }}\end{array}\right)$$

1.1.3 性质

奇偶性

• 关于y轴对称，$f(x)=f(-x)$ ，偶函数
• 关于原点对称，$f(-x)=-f(x)$，奇函数

周期性

$f(x+T)=f(x)$

单调性

1.2 极限

1.2.1 数列极限

$a_n$ 同项

• 等差数列：$a_n=a_1+(n-1)q$ ，$S_n=n{a}_1+\frac{n(n-1)q}{2}$

• 等比数列：$a_n=a_{1}q$ ，$S_n=\frac{a_1-a_{n}q}{1-q}=\frac{a_1(1-q^n)}{1-q}$

当

数列的收敛表示为：

$$\underset{n\to \infty }{\lim }{a}_n=A或a_n\to A(n\to \infty )$$

eg:

${\lim }_{n\to \infty }\frac{1}{3^n}=0$ ,${\lim }_{n\to \infty }=\frac{n}{n+1}=1$

${\lim }_{n\to \infty }{2}^n=\infty$ 发散

1.2.2 函数极限

${\lim }_{x\to +\infty }{e}^{-x}=0$

${\lim }_{x\to +\infty }\frac{1}{x}=0$

${\lim }_{x\to +\infty }arctanx=\frac{\pi }{2}$

极限定义

左右极限

函数在左半邻域 $(x_0-\sigma ,x_0)$，右半邻域 $(x_0,x_0+\sigma )$ 有定义

左极限：${\lim }_{x\to x_0^{-}}f(x)=A$ / $f(x)\to A(x\to x_0^{-})$ / $f(x-x_0)=A$

右极限：${\lim }_{x\to x_0^{+}}f(x)=A$ / $f(x)\to A(x\to x_0^{+})$ / $f(x+x_0)=A$

极限

函数在 $x_0$ 的邻域内有定义，且左极限=右极限 ${\lim }_{x\to x_0}f(x)=A$ 或 $f(x)\to A(x\to x_0)$

充要条件：${\lim }_{x\to x_0^{-}}f(x)={\lim }_{x\to x_0^{+}}f(x)=A$

eg：
$$f(x)=\{\begin{array}{rlr}& x-1& ,x<0\\ & 0& ,x=0\\ & x+1& ,x>0\end{array}$$
由于 ${\lim }_{x\to 0^{-}}f(x)=-1\ne {\lim }_{x\to 0^{+}}f(x)=1$ ，故 ${\lim }_{x\to 0}f(x)$ 不存在

1.2.3 无穷大

表示无限增大，没有上界（收敛点）

无穷大与无穷小关系：在x的同一变换过程中， $f(x)=\infty \Rightarrow \frac{1}{f(x)}=0$

1.2.4 无穷小

以零为极限（$x\to a$ 时，${\lim }_{x\to a}f(x)=0$）

性质 ：

• 有限个无穷小的和、积是无穷小

  无穷小个无穷小未必是无穷小

  • ${\lim }_{n\to \infty }\frac{1}{n^2}+\frac{2}{n^2}+\cdots +\frac{n}{n^2}={\lim }_{n\to \infty }\frac{\frac{n(n+1)}{2}}{n^2}=\frac{1}{2}$

• 有界变量x无穷小 $⟺$ 无穷小

• 无穷小的商未必无穷小

  ${\lim }_{x\to 0}\frac{x}{2x}=\frac{1}{2}$ ，${\lim }_{x\to 0}\frac{2x}{x^2}=\infty$

• 极限有无穷小的充要条件：${\lim }_{x\to x_0}f(x)=A⟺A+\alpha (x)$ ，$\alpha (x)$ 为 $x\to x_0$ 时的无穷小

无穷小比较

$\alpha (x),\beta (x)$ 为无穷小

• ${\lim }_{x\to x_0}\frac{\beta (x)}{\alpha (x)}=0,\beta (x)为\alpha (x)的高阶无穷小$
• ${\lim }_{x\to x_0}\frac{\beta (x)}{\alpha (x)}=\infty ,\beta (x)为\alpha (x)的低阶无穷小$
• ${\lim }_{x\to x_0}\frac{\beta (x)}{\alpha (x)}=C\ne 0,\beta (x)与\alpha (x)为同阶无穷小$

1.2.5 连续性

设 $f(x)$ 在x的邻域内有定义，当 $\Delta x\to 0$ ，有 $\Delta y\to 0$，则 $f(x)$ 在 $x_0$ 处连续，${\lim }_{\Delta x\to 0}\Delta y={\lim }_{\Delta x\to 0}(f(x+\Delta x)-f(x))=0$

函数 $f(x)$ 在 $x_0$ 处连续，三个条件都满足 ：

• 在 $x_0$ 处有定义
• ${\lim }_{x\to x_0}f(x)$ 存在
• ${\lim }_{x\to x_0}f(x)=f(x_0)$ 极限=函数值

1.2.6 间断点

$f(x)$ 在 $x=x_0$ 处不连续，则 $x_0$ 处为 $f(x)$ 的间断点，以下条件满足一个即为间断点

• $f(x)$ 在 $x_0$ 处无定义
• ${\lim }_{x\to x_0}f(x)$ 不存在
• ${\lim }_{x\to x_0}f(x)\ne f(x_0)$

分类

第一类间断点：$x\to x_0$ 时，$f(x)$ 左右极限都存在

• 跳跃间断点：$f(x_0-0)$ 与 $f(x_0+0)$ 都存在但不相同
• 可去间断点：${\lim }_{x\to x_0}f(x)$ 存在但 $\ne f(x_0)$

第二类间断点：至少一侧极限不存在

eg：

$f(x)=\frac{x^2-1}{x^2-3x+2}$ ，在 $x=1,2$ 处无定义，故不连续

${\lim }_{x\to 1^{+}}f(x)={\lim }_{x\to 1^{+}}\frac{x+1}{x-2}=-2$ ，${\lim }_{x\to 1^{-}}f(x)={\lim }_{x\to 1^{-}}\frac{x+1}{x-2}=-2$ ，所以 $x=1$ 为可去间断点

${\lim }_{x\to 2^{-}}f(x)={\lim }_{x\to 2^{-}}\frac{x+1}{x-2}=-\infty$ ，${\lim }_{x\to 2^{+}}f(x)={\lim }_{x\to 2^{+}}\frac{x+1}{x-2}=+\infty$ ，所以 $x=2$ 为第二类间断点

1.3 导数

表示平均变化率的极限 ，${\lim }_{\Delta x\to 0}\frac{\Delta y}{\Delta x}={\lim }_{\Delta x\to 0}\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}$ ，记为 $f^{\prime }(x)$

1.3.1 运算律

$(u\pm v{)}^{\prime }=u^{\prime }\pm v^{\prime }$

$(\frac{u}{v}{)}^{\prime }=\frac{u^{\prime }v-u{v}^{\prime }}{v^2}(v\ne 0)$

$(uv{)}^{\prime }=u^{\prime }v+u{v}^{\prime }$

$(cu{)}^{\prime }=c{u}^{\prime }$

$(\frac{c}{v}{)}^{\prime }=-\frac{c{v}^{\prime }}{v^2}$

1.3.2 导数的几何意义

${\lim }_{\Delta x\to 0}\frac{\Delta y}{\Delta x}$

1.3.3 可微

$y=f(x)$ 在 $x_0$ 的某邻域内有定义，$x+\Delta x\in (x_0-\sigma ,x_0+\sigma )$ ，若 $\Delta y=f(x_0+\Delta x)-f(x_0)$ 可表示为 $\Delta y=A\Delta x+o(x)$ ，则称 $y=f(x)$ 在 $x_0$ 处可微，记为 $dy=A\Delta x$

几何意义：

• dy：切线上纵坐标的增量

若 $y=f(x)$ 可微，则有 $\Delta y-dy=o(\Delta x)$

1.3.4 二元函数的导数

一元函数的导数：$y=f(x)$ ，$y^{\prime }(x)=f^{\prime }(x)$ ，只随一个变量x变化

二元函数导数：$z=f(x,y)$ ，$z=\{\begin{array}{rl}& 随x变\\ & 随y变\\ & 随x,y变\end{array}$

偏导(随一个变量变)

$z=f(x,y)$ 在 $(x_0,y_0)$ 的某个邻域内有定义，$y=y_0$ 时，$f(x,y_0)$ 在 $x=x_0$ 处可导，即 ${\lim }_{\Delta x\to x_0}\frac{f(x_0+\Delta x,y_0)-f(x_0,y_0)}{\Delta x}=A$ ，则 $z=f(x,y)$ 在 $(x_0,y_0)$ 处关于 $x$ 的偏导为 $A$ 。记为 $f_x(x_0,y_0)$ ， $\frac{\partial z}{\partial x}{|}_{y=y_0,x=x_0}$

$\frac{\partial u}{\partial x}{|}_{x=x_0}$几何意义

曲线 $\Gamma :\{\begin{array}{rl}& z=f(x,y)\\ & x=x_0\end{array}$ 在 $x=x_0$ 处的切线：

• $\Gamma$ ：平面 $\Pi$($x=x_0$)与 $z=f(x,y)$ 交线为 $\Gamma$

随 $y$ 的不同取值，斜率有不同取值

eg

$f(x,y)=x^2+3xy+y^2$ ，在 $(1,2)$ 处偏导，$f_x=2x+3y$ ，$f_y=3x+2y$ ，$f_x(1,2)=8$

$y(x){|}_{y=2}=f(x,2)=x^2+6x+2,y^{\prime }(x)=2x+6,y^{\prime }(1)=8$

方向导(沿方向向量)

方向

$u=f(x,y,z)$ 在 $D\in R^3$ 内有定义，$R^3$ 内有一个确定点 $P_0(x_0,y_0,z_0)$ 和一个动点 $P(x,y,z)$ 确定方向向量 $\vec{l}=(a,b,c)\stackrel{单位化}{\Rightarrow }\overrightarrow{l^0}=\left(\frac{a}{\sqrt{a^2+b^2+c^2}},\frac{b}{\sqrt{a^2+b^2+c^2}},\frac{c}{\sqrt{a^2+b^2+c^2}}\right)=(cos\alpha ,cos\beta ,cos\gamma )$

方向向量 $\vec{l}=\overrightarrow{P_{0}P}=(x-x_0,y-y_0,z-z_0)$ ，模长 $|\vec{l}|=|P_{0}P|=\sqrt{\Delta x^2,\Delta y^2,\Delta z^2}=t$

方向余弦

$$\{\begin{array}{rl}& cos\alpha =\frac{\Delta x}{t}=\frac{x-x_0}{\sqrt{(x-x_0{)}^2+(y-y_0{)}^2+(z-z_0{)}^2}}\\ & cos\beta =\frac{\Delta y}{t}=\frac{y-y_0}{\sqrt{(x-x_0{)}^2+(y-y_0{)}^2+(z-z_0{)}^2}}\\ & cos\gamma =\frac{\Delta z}{t}=\frac{z-z_0}{\sqrt{(x-x_0{)}^2+(y-y_0{)}^2+(z-z_0{)}^2}}\end{array}$$
方向导

${\lim }_{\Delta 自变量\to 0}=\frac{\Delta 因变量}{\Delta 自变量}$

若 ${\lim }_{\Delta l\to 0}\frac{f(x_0+\Delta lcos\alpha ,y_0+\Delta lcos\beta ,z_0+\Delta lcos\gamma )-f(x_0,y_0,z_0)}{\Delta l}$ 存在，则称其为 $u=f(x,y,z)$ 在 $P(x_0,y_0,z_0)$ 沿 $\overrightarrow{e_l}$ 方向的方向导数，记为 $\frac{\partial u}{\partial l}{|}_{P_0}$ ，$\frac{\partial f}{\partial l}{|}_{P_0}$

方向导几何意义

曲线 $\Gamma$ 在 $P(x_0,y_0)$ 处切线

• $\Gamma$ ：过方向向量 $\overrightarrow{e_l}=\left(\frac{x-x_0}{\sqrt{(x-x_0{)}^2+(y-y_0{)}^2}},\frac{y-y_0}{\sqrt{(x-x_0{)}^2+(y-y_0{)}^2}}\right)$ 做 $xoy$ 面的垂面 $\Pi$ 与 $u=f(x,y,z)$ 有交线 $\Gamma$

  

$P(x,y)$ 沿 $\overrightarrow{e_l}$ 变化，对应不同的坐标点 P，方向导为 $z=f(x,y)$ 在 $P_0$ 点切线

特殊方向导

沿 $x$ 轴方向 $\overrightarrow{e_l}=(1,0)$ ，$\frac{\partial f}{\partial l}={\lim }_{\Delta l\to 0}\frac{f(x_0+\Delta x,y_0)-f(x_0,y_0)}{\sqrt{\Delta x^2}}=f_x(x_0,y_0)$

沿 $y$ 轴方向 $\overrightarrow{e_l}=(0,1)$ ，$\frac{\partial f}{\partial l}={\lim }_{\Delta l\to 0}\frac{f(x_0,y_0+\Delta y)-f(x_0,y_0)}{\sqrt{\Delta y^2}}=f_y(x_0,y_0)$

方向导计算

若 $u=f(x,y)$ 在 $P_0(x_0,y_0)$ 处可微，则 $f$ 在 $P_0$ 处沿任一方向导都存在，且有
$$\begin{array}{rl}\frac{\partial f}{\partial l}& =\frac{\partial u}{\partial x}cos\alpha +\frac{\partial u}{\partial y}cos\beta \\ & =\left(\frac{\partial u}{\partial x},\frac{\partial u}{\partial y}\right)\cdot \left(\begin{array}{r}cos\alpha \\ cos\beta \end{array}\right)\\ & =(gradu)\cdot \overrightarrow{e_l}=▽f\cdot \overrightarrow{e_l}=|▽f|\cdot |\overrightarrow{e_l}|\cdot cos\theta \end{array}$$
eg：

求 $z=x{e}^{2y}$ 在 $P(1,0)$ 处沿 $P(1,0)$ 到 $Q(2,-1)$ 方向的方向导

$\vec{l}=\overrightarrow{PQ}=(1,-1)$ ，方向向量 $\overrightarrow{e_l}=\left(\frac{\sqrt{2}}{2},-\frac{\sqrt{2}}{2}\right)$ ，方向余弦 $cos\alpha =\frac{\sqrt{2}}{2},cos\beta =-\frac{\sqrt{2}}{2}$

$\frac{\partial z}{\partial l}=\frac{\partial z}{\partial x}cos\alpha +\frac{\partial z}{\partial y}cos\beta =\frac{\sqrt{2}}{2}\frac{\partial z}{\partial x}-\frac{\sqrt{2}}{2}\frac{\partial z}{\partial y}=\frac{\sqrt{2}}{2}{e}^{2y}-\frac{\sqrt{2}}{2}2x{e}^{2y}=\frac{\sqrt{2}}{2}{e}^{2y}(1-2x)$

在 $P(1,0)$ 的方向导为 $\frac{\partial z}{\partial l}{|}_{(1,0)}=-\frac{\sqrt{2}}{2}$

1.3.5 梯度 gradient

使方向导数最大的方向向量：
{ 方向： g r a d f ∣ P 0 = { f x ′ ( x 0 , y 0 ) , f y ′ ( x 0 , y 0 ) } = ▽ f ∣ P 0 大小： ∣ g r a d f ∣ P 0 ∣ = ∣ ▽ f ∣ P 0 ∣ = [ f x ′ ( x 0 , y 0 ) ] 2 + [ f y ′ ( x 0 , y 0 ) ] 2 \left\{ \begin{aligned} &方向：grad\quad f\vert_{P_0}=\{f_{x}'(x_0,y_0),f_y'(x_0,y_0)\}=\bigtriangledown f\vert_{P_0}\\ &大小：\vert grad\quad f\vert_{P_0}\vert=\vert \bigtriangledown f\vert_{P_0}\vert=\sqrt{[f_x'(x_0,y_0)]^2+[f_y'(x_0,y_0)]^2} \end{aligned} \right. ⎩ ⎨ ⎧​​方向：gradf∣P0​​={fx′​(x0​,y0​),fy′​(x0​,y0​)}=▽f∣P0​​大小：∣gradf∣P0​​∣=∣▽f∣P0​​∣=[fx′​(x0​,y0​)]2+[fy′​(x0​,y0​)]2 ​​

• $z=f(x,y)$ 沿梯度方向递增（假设方向向量的起点为原点）

方向导：
$$\begin{array}{rl}\frac{\partial f}{\partial l}& =\frac{\partial u}{\partial x}cos\alpha +\frac{\partial u}{\partial y}cos\beta \\ & =\left(\frac{\partial u}{\partial x},\frac{\partial u}{\partial y}\right)\left(cos\alpha ,cos\beta \right)\\ & =(gradu)\overrightarrow{e_l}=▽f\cdot \overrightarrow{e_l}=|▽f|\cdot |\overrightarrow{e_l}|\cdot cos\theta \end{array}$$
当 $\theta =0$ 时，有 $\frac{\partial z}{\partial l}{|}_{max}=|▽f|$

• 某一方向上的方向到为 $\Gamma$ 的切线

• 某一点沿着不同方向有不同的方向导，方向导最大的方向为梯度方向 $▽f\stackrel{\Delta }{=}(f_x^{\prime },f_y^{\prime })$ ，且为 $|▽f|=\sqrt{(f_x^{\prime }{)}^2+(f_y^{\prime }{)}^2}$

• 梯度方向与 $f$ 等值线垂直

  如：$z=x^2+y^2$

梯度下降法(方向导与极值)

找极小值：

1. 方向： $梯度反方向(-▽f)$

   

2. 大小

   

   

3. 终止条件： $|▽f|\le ϵ,梯度随z下降，在最低点|▽f|\approx 0$

   

• $z=f(x,y)$ 沿梯度方向递增，沿梯度反方向递减

已知导数为沿曲线 $\Gamma$ 运动的点的切线

• 方向向量：运动方向
• 方向向量 $\overrightarrow{e_l}$ 上的点：$\Gamma$ 上的点

根据可微，$-▽f=\frac{\Delta f}{\overrightarrow{e_l}}⟺\frac{z_1-z_0}{\overrightarrow{e_l}}=-▽f\Rightarrow z_1-z_0=-▽f\cdot \overrightarrow{e_l}=-▽f\Rightarrow z_1-z_0=-▽f$

eg：

假设 $z=f(x,y)=x^2+y^2$ ，$z_0=f(1,2)$ 梯度 $▽f=\left(\frac{\partial z}{\partial x},\frac{\partial z}{\partial y}\right)=(2x,2y)$

$z_1=z_0-▽f{|}_{(1,2)}=f(1,2)-f(2,4)=f(-1,-2)$

$z_2=z_1-▽f{|}_{(-1,-2)}=f(-1,-2)-f(-2,-4)=f(1,2)$

…

会进入循环，所以需要引入学习率 $\eta$ 来控制步长，即 $z=z^{\prime }-\eta ▽f$

$\eta >1$ ，$z$ 上升

$\eta =1$ ，$z$ 振荡

$\eta <1$ ，$z$ 下降。且 $\eta$ 越大，下降速度越快

• $\eta =0.02$

  

• $\eta =0.2$

  

eg：

有 $u=f(x,y)=x^2+2y^2$ ，$(x_0,y_0)=(-3.5,-3.5),\eta =0.1$

$$\begin{array}{rl}& ▽f=(2x,4y),z_0=f(x_0,y_0)=f(-3.5,-3.5)\\ & z_1=f(x_1,y_1)=z_0-\eta ▽f=f\left(\begin{array}{r}-3.5\\ -3.5\end{array}\right)-0.1f\left(\begin{array}{r}-7\\ -14\end{array}\right)=\left(\begin{array}{r}-2.8\\ -2.1\end{array}\right)\\ & z_2=f(x_2,y_2)=z_1-\eta ▽f=f\left(\begin{array}{r}-2.8\\ -2.1\end{array}\right)-0.1f\left(\begin{array}{r}-5.6\\ -8.4\end{array}\right)=f\left(\begin{array}{r}-2.24\\ -1.26\end{array}\right)\\ & ⋮\\ & z_{k+1}=f(x_{k+1},y_{k+1})=z_k-\eta ▽f(x_k,y_k)\end{array}$$