支持向量机（support vector machines，SVM）是一种二分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机。

1、线性可分支持向量机与硬间隔最大化

1.1、线性可分支持向量机

考虑一个二分类问题。假设输入空间与特征空间为两个不同的空间，这两个空间的元素一一对应，并将输入空间的输入映射为特征空间中的特征向量，支持向量机的学习是在特征空间进行的。

假设一个特征空间上的训练数据集
$$T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$$

其中，$x_i\in \mathcal{X}=R^n$， y i ∈ Y = { + 1 , − 1 } y_i \in{\cal{Y}}=\{+1,-1\} yi​∈Y={+1,−1}，$i=1,2,\cdots ,N$。$x_i$ 为第 $i$ 个特征向量，也称为实例，$y_i$ 为 $x_i$ 的类标记。

学习的目标是在特征空间中找到一个分离超平面，能够将实例分到不同的类，分离超平面对应于方程 $w\cdot x+b=0$，它由法向量 $w$ 和截距 $b$ 决定。一般地，当训练数据集线性可分时，存在无穷个分离超平面可将数据正确分开，例如感知机利用误分类最小的策略，不过其解有无穷多个，而线性可分支持向量机利用间隔最大化求最优分离超平面，因此其解是唯一的。

1.2、函数间隔和几何间隔

如上图所示，$A,B,C$ 三个点均在分离超平面的正类一侧，点 $A$ 距分离超平面较远，若预测该点为正类，是比较可信的，而预测 $C$ 点为正类就不那么可信，点 $B$ 介于点 $A$ 与 $C$ 之间，预测其为正类的可信度也在 $A$ 与 $C$ 之间。

一般来说，在超平面 $w\cdot x+b=0$ 确定的情况下，$\mid w\cdot x+b\mid$ 能够相对地表示点 $x$ 距离超平面的远近，而 $w\cdot x+b$ 的符号与类标记 $y$ 的符号是否一致能够表示分类是否正确，所以可用量 $y(w\cdot x+b)$ 来表示分类的正确性及确信度，这就是函数间隔（functional margin）的概念，记作 ${\hat{\gamma }}_i$。

但是只要成比例地改变 $w$ 和 $b$，例如将它们改为 $2w$ 和 $2b$，超平面并没有改变，但函数间隔却变为原来的 2 倍，所以需要对 $w$ 加某些约束，如 $\parallel w\parallel =1$，使得间隔是确定的。这时函数间隔就成为了几何间隔（geometric margin），记作 ${\gamma }_i$。

上图给出了超平面 $(w,b)$ 及其法向量 $w$。点 $A$ 表示某一实例 $x_i$，其类标记为 $y_i=+1$。点 $A$ 与超平面 $(w,b)$ 的距离由线段 $AB$ 给出，记作 ${\gamma }_i$。
$${\gamma }_i=\frac{w}{\parallel w\parallel }\cdot x_i+\frac{b}{\parallel w\parallel }$$

其中，$\parallel w\parallel$ 为 $w$ 的 $L_2$ 范数。这是点 $A$ 在超平面正的一侧的情形。如果点 $A$ 在超平面负的一侧，即 $y_i=-1$，那么点与超平面的距离为
$${\gamma }_i=-(\frac{w}{\parallel w\parallel }\cdot x_i+\frac{b}{\parallel w\parallel })$$

一般地，当样本点 $(x_i,y_i)$ 被超平面 $(w,b)$ 正确分类时，点 $x_i$ 与超平面 $(w,b)$ 的距离是
$${\gamma }_i=y_i(\frac{w}{\parallel w\parallel }\cdot x_i+\frac{b}{\parallel w\parallel })$$

1.3、间隔最大化

支持向量机学习的基本思想是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。间隔最大化的直观解释是：对训练数据集找到几何间隔最大的超平面意味着以充分大的确信度对训练数据进行分类。也就是说，不仅将正负实例点分开，而且对最难分的实例点（离超平面最近的点）也有足够大的确信度将它们分开。这样的超平面应该对未知的新实例有很好的分类预测能力。

（1）最大间隔分离超平面

求最大间隔分离超平面可以表示为下面的约束最优化问题：
$$\begin{array}{rl}\underset{w,b}{\max }& \gamma \\ s.t.& y_i(\frac{w}{\parallel w\parallel }\cdot x_i+\frac{b}{\parallel w\parallel })\ge \gamma ,i=1,2,\cdots ,N\end{array}$$

即希望最大化超平面 $(w,b)$ 关于训练数据集的几何间隔 $\gamma$，约束条件表示的是超平面 $(w,b)$ 关于每个训练样本的几何间隔至少是 $\gamma$。

考虑几何间隔和函数间隔的关系，可以改写为
$$\begin{array}{rl}\underset{w,b}{\max }& \frac{\hat{\gamma }}{\parallel w\parallel }\\ s.t.& y_i(w\cdot x_i+b)\ge \hat{\gamma },i=1,2,\cdots ,N\end{array}$$

函数间隔 $\hat{\gamma }$ 的取值并不影响最优化问题的解，事实上，假设将 $w$ 和 $b$ 按比例改变为 $\lambda w$ 和 $\lambda b$，这时函数间隔成为 $\lambda \hat{\gamma }$。函数间隔的这一改变对上面最优化问题的不等式约束没有影响，对目标函数的优化也没有影响，即产生一个等价的最优化问题。这样，就可以取 $\hat{\gamma }=1$，将其带入上面最优化问题，而最大化 $\frac{1}{\parallel w\parallel }$ 和最小化 $\frac{1}{2}\parallel w{\parallel }^2$ 是等价的，于是：
$$\begin{array}{rl}\underset{w,b}{\min }& \frac{1}{2}\parallel w{\parallel }^2\\ s.t.& y_i(w\cdot x_i+b)-1\ge 0,i=1,2,\cdots ,N\end{array}$$

如果求出了上述优化问题的解 $w^{\ast },b^{\ast }$，那么就可以得到最大间隔分离超平面 $w^{\ast }\cdot x+b^{\ast }=0$ 及分类决策函数 $f(x)=sign(w^{\ast }\cdot x+b^{\ast })$，即线性可分支持向量机模型。

综上所述，就是线性可分支持向量机的学习算法——最大间隔法（maximum margin method）。

（2）支持向量和间隔边界

在线性可分情况下，训练数据集的样本点中与分离超平面距离最近的样本点的实例称为支持向量（support vector）。支持向量是使约束条件 $y_i(w\cdot x_i+b)-1\ge 0$ 等号成立的点，即
$$y_i(w\cdot x_i+b)-1=0$$

对 $y_i=+1$ 的正例点，支持向量在超平面
$$H_1:w\cdot x+b=1$$

上，对 $y_i=-1$ 的负例点，支持向量在超平面
$$H_2:w\cdot x+b=-1$$

上。如下图所示，在 $H_1$ 和 $H_2$ 上的点就是支持向量。注意到 $H_1$ 和 $H_2$ 平行，并且并没有实例点落在它们中间。在 $H_1$ 和 $H_2$ 之间形成一条长带，长带的宽度称为间隔（margin），间隔依赖于分离超平面的法向量 $w$，等于 $\frac{2}{\parallel w\parallel }$。$H_1$ 和 $H_2$ 称为间隔边界。

在决定分离超平面时只有支持向量起作用，而其他实例点并不起作用。如果移动支持向量将改变所求的解；但是如果在间隔边界以外移动其他实例点，甚至去掉这些点，则解是不会改变的。由于支持向量在确定分离超平面中起决定性作用，所以将这种分类模型称为支持向量机。支持向量的个数一般很少，所以支持向量机由很少的 “ 重要的 ” 的训练样本确定。

1.4、学习的对偶算法

为了求解线性可分支持向量机的最优化问题，首先构建拉格朗日函数（Lagrange function），即对每个不等式约束引入拉格朗日乘子（Lagrange multiplier）${\alpha }_i\ge 0,i=1,2,\cdots ,N$，定义拉格朗日函数：
$$L(w,b,\alpha )=\frac{1}{2}\parallel w{\parallel }^2-\sum _{i=1}^N{\alpha }_i{y}_i(w\cdot x_i+b)+\sum _{i=1}^N{\alpha }_i$$

其中，$\alpha =({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_N{)}^T$ 为拉格朗日乘子向量。

根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题：
$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$$

所以，为了得到对偶问题的解，需要先求 $L(w,b,\alpha )$ 对 $w,b$ 的极小，再求对 $\alpha$ 的极大。

（1）求 ${\min }_{w,b}L(w,b,\alpha )$

将 $L(w,b,\alpha )$ 分别对 $w,b$ 求偏导并令其等于 0。
$$\begin{array}{rl}& {\nabla }_{w}L(w,b,\alpha )=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0\\ & {\nabla }_{b}L(w,b,\alpha )=-\sum _{i=1}^N{\alpha }_i{y}_i=0\end{array}$$

得
$$\begin{array}{rl}& w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\\ & \sum _{i=1}^N{\alpha }_i{y}_i=0\end{array}$$

将其代入拉格朗日函数，即得
$$\begin{array}{rl}L(w,b,\alpha )& =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i{y}_i\left(\right(\sum _{i=1}^N{\alpha }_j{y}_j{x}_j)\cdot x_i+b)+\sum _{i=1}^N{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i\end{array}$$

即
$$\underset{w,b}{\min }L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$

（2）求 ${\min }_{w,b}L(w,b,\alpha )$ 对 $\alpha$ 的极大，即是对偶问题

$$\begin{array}{rl}\underset{\alpha }{\max }& -\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i\\ s.t.& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0,i=1,2,\cdots ,N\end{array}$$

将上述目标函数由求极大转换为求极小，即
$$\begin{array}{rl}\underset{\alpha }{\min }& \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\\ s.t.& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0,i=1,2,\cdots ,N\end{array}$$

上述即对偶最优化问题，假设对偶最优化问题对 $\alpha$ 的解为 ${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }{)}^T$，可以由 ${\alpha }^{\ast }$ 求得原始最优化问题对 $(w,b)$ 的解 $w^{\ast },b^{\ast }$，
$$\begin{array}{rl}{w}^{\ast }& =\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i\\ b^{\ast }& =y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)\end{array}$$

从而得到分离超平面及分类决策函数。这种算法称为线性可分支持向量机的对偶学习算法，是线性可分支持向量机学习的基本算法。

2、线性支持向量机与软间隔最大化

2.1、线性支持向量机

上一节的方法对线性不可分训练数据是不适用的，因为这时上述方法中的不等式约束并不能都成立。

假设一个特征空间上的训练数据集
$$T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$$

其中，$x_i\in \mathcal{X}=R^n$， y i ∈ Y = { + 1 , − 1 } y_i \in{\cal{Y}}=\{+1,-1\} yi​∈Y={+1,−1}，$i=1,2,\cdots ,N$。$x_i$ 为第 $i$ 个特征向量，$y_i$ 为 $x_i$ 的类标记。通常情况下，训练数据中有一些特异点（outlier），将这些特异点除去后，剩下大部分的样本点组成的集合是线性可分的。

线性不可分意味着某些样本点 $(x_i,y_i)$ 不能满足函数间隔大于 1 的约束条件，为了解决这个问题，可以对每个样本点 $(x_i,y_i)$ 引入一个松弛变量 ${\xi }_i\ge 0$，使函数间隔加上松弛变量大于等于 1。这样，约束条件变为
$$y_i(w\cdot x_i+b)\ge 1-{\xi }_i$$

同时，对每个松弛变量 ${\xi }_i$，支付一个代价 ${\xi }_i$。目标函数由原来的 $\frac{1}{2}\parallel w{\parallel }^2$ 变成
$$\frac{1}{2}\parallel w{\parallel }^2+C\sum _{i=1}^N{\xi }_i$$

这里，$C>0$ 称为惩罚参数，$C$ 值大时对误分类的惩罚增大，$C$ 值小时对误分类的惩罚减小。最小化上式目标函数包含两层含义：使 $\frac{1}{2}\parallel w{\parallel }^2$ 尽量小即间隔尽量大，同时使误分类点的个数尽量小，$C$ 是调和二者的系数。

上述的思路，我们称为软间隔最大化。线性不可分的线性支持向量机的学习问题变成如下问题（原始问题）：
$$\begin{array}{rl}\underset{w,b,\xi }{\min }& \frac{1}{2}\parallel w{\parallel }^2+C\sum _{i=1}^N{\xi }_i\\ s.t.& y_i(w\cdot x_i+b)\ge 1-{\xi }_i,i=1,2,\cdots ,N\\ & {\xi }_i\ge 0,i=1,2,\cdots ,N\end{array}$$

设上述问题的解是 $w^{\ast },b^{\ast }$，于是得到分类超平面 $w^{\ast }\cdot x+b^{\ast }=0$ 及分类决策函数 $f(x)=sign(w^{\ast }\cdot x+b^{\ast })$。称这样的模型为训练样本线性不可分时的线性支持向量机，简称线性支持向量机。

2.2、学习的对偶算法

原始问题的对偶问题是
$$\begin{array}{rl}\underset{\alpha }{\min }& \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\\ s.t.& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le C,i=1,2,\cdots ,N\end{array}$$

2.3、支持向量

在线性不可分的情况下，对偶问题的解 ${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }{)}^T$ 中对应于 ${\alpha }_i^{\ast }>0$ 的样本点 $(x_i,y_i)$ 的实例 $x_i$ 称为支持向量（软间隔的支持向量）。

如上图所示，这时的支持向量要比线性可分时的情况复杂一些，软间隔的支持向量 $x_i$ 或者在间隔边界上，或者在间隔边界与分离超平面之间，或者在分离超平面误分一侧。若 ${\alpha }_i^{\ast }<C$，则 ${\xi }_i=0$，支持向量 $x_i$ 刚好落在间隔边界上；若 ${\alpha }_i^{\ast }=C,0<{\xi }_i<1$，则分类正确，$x_i$ 在间隔边界与分离超平面之间；若 ${\alpha }_i^{\ast }=C,{\xi }_i=1$，则 $x_i$ 在分离超平面上；若 ${\alpha }_i^{\ast }=C,{\xi }_i>1$，则 $x_i$ 位于分离超平面误分一侧。

3、非线性支持向量机与核函数

对解线性分类问题，线性分类支持向量机是一种有效的方法，但是有时分类问题是非线性的，这时可以使用非线性支持向量机。

3.1、核技巧

（1）非线性分类问题

如左图所示，无法用直线（线性模型）将正负实例正确分开，但可以用一条椭圆曲线（非线性模型）将它们正确分开。

一般来说，对给定的一个训练数据集 $T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$，其中，实例 $x_i$ 属于输入空间，$x_i\in \mathcal{X}={\mathcal{R}}^n$，对应的标记有两类 y i ∈ Y = { − 1 , + 1 } , i = 1 , 2 , ⋯   , N y_i\in \cal{Y}=\{-1,+1\},i=1,2,\cdots,\it N yi​∈Y={−1,+1},i=1,2,⋯,N。如果能用 $R^n$ 的一个超曲面将正负实例正确分开，则称这个问题为非线性可分问题。

分线性问题往往不好求解，所以采用的方法是进行一个非线性映射，将非线性问题转换为线性问题，通过解线性问题的方法求解非线性问题，如上图所示，将左图中椭圆变换成右图的直线，将非线性分类问题变换为线性分类问题。

设原空间为 $\mathcal{X}\subset R^2$，$x=(x^{(1)},x^{(2)}{)}^T\in \mathcal{X}$，新空间为 $\mathcal{Z}\subset R^2$，$z=(z^{(1)},z^{(2)}{)}^T\in \mathcal{Z}$，定义从原空间到新空间的变换（映射）：
$$z=\varphi (x)=((x^{(1)}{)}^2,(x^{(2)}{)}^2{)}^T$$

经过变换 $z=\varphi (x)$，原空间 $\mathcal{X}\subset R^2$ 变换为新空间 $\mathcal{Z}\subset R^2$，原空间中的点相应地变换为新空间中的点，原空间中的椭圆
$$w_1(x^{(1)}{)}^2+w_2(x^{(2)}{)}^2+b=0$$

变换成为新空间中的直线
$$w_1{z}^{(1)}+w_2{z}^{(2)}+b=0$$

在变换后的新空间里，直线 $w_1{z}^{(1)}+w_2{z}^{(2)}+b=0$ 可以将变换后的正负实例点正确分开。这样原空间的非线性可分问题就变成了新空间的线性可分问题。

（2）核函数的定义

设 $\mathcal{X}$ 是输入空间（欧式空间 $R^n$ 的子集或离散集合），又设 $\mathcal{H}$ 为特征空间（希尔伯特空间），如果存在一个从 $\mathcal{X}$ 到 $\mathcal{H}$ 的映射
$$\varphi (x):\mathcal{X}\to \mathcal{H}$$

使得对所有 $x,z\in \mathcal{X}$，函数 $K(x,z)$ 满足条件
$$K(x,z)=\varphi (x)\cdot \varphi (z)$$

则称 $K(x,z)$ 为核函数，$\varphi (x)$ 为映射函数，式中 $\varphi (x)\cdot \varphi (z)$ 为 $\varphi (x)$ 与 $\varphi (z)$ 的内积。

（3）核技巧在支持向量机中的应用

我们注意到在线性支持向量机的对偶问题中，无论是目标函数还是决策函数（分离超平面）都只涉及输入实例域实例之间的内积。在对偶问题的目标函数中的内积 $x_i\cdot x_j$ 可以用核函数 $K(x_i,x_j)=\varphi (x_i)\cdot \varphi (x_j)$ 来代替，此时对偶问题的目标函数成为
$$W(\alpha )=\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i$$

同样，分类决策函数中的内积也可以用核函数代替，而分类决策函数式成为
$$\begin{array}{rl}f(x)& =sign(\sum _{i=1}^{N_s}{\alpha }_i^{\ast }{y}_i\varphi (x_i)\cdot \varphi (x)+b^{\ast })\\ & =sign(\sum _{i=1}^{N_s}{\alpha }_i^{\ast }{y}_{i}K(x_i,x)+b^{\ast })\end{array}$$

3.2、常用核函数

1. 多项式核函数（polynomial kernel function）
   $$K(x,z)=(x\cdot z+1{)}^p$$
2. 高斯核函数（Gaussian kernel function）
   $$K(x,z)=\exp (-\frac{\parallel x-z\parallel }{2{\sigma }^2})$$

3.3、非线性支持向量分类机

如上所述，利用核技巧可以将线性分类的学习问题应用到非线性分类问题中去。将线性支持向量机扩展到非线性支持向量机，只需将线性支持向量机对偶形式中的内积换成核函数。