一 支持向量机

1 支持向量机介绍：

支持向量机(Support Vector Machine，SVM)是Corinna Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别表现出许多特有的优势。

2 支持向量机原理:

在n维空间中找到一个分类超平面，将空间上的点分类,虚线上的点叫做支持向量机Supprot Verctor,中间红线叫超级平面,SVM目的是拉大所有点到超级平面的距离。



对于线性不可分的情况，我们的常用做法是把样本特征映射到高维空间中去。
但映射到高维空间，可能会导致维度太大，导致计算复杂。这里又引入核函数;

核函数：又叫非线性映射，它是将样本特征映射到高维空间，在这个空间构造最优的超平面.
核函数类型:线性核，多项式核，高斯核(rbf)等等。

正则常数C:指的是SVM里拉格朗日乘数的约束程度


正则常数值越大表示惩罚越大，越不能容忍错误，支持向量就越多，容易造成过度拟合。
正则常数越小与之相反，容易造成欠拟合.

3 SVM几种模式

one-versus-all(一对多法):训练时依次把某个类别的样本归为一类,其他剩余的样本归为另一类，这样n个类别的样本就构造出了n个SVM.

one-versus-one(一对一法):训练时依次把任意两类样本之间设计一个SVM，因此n个类别的样本就需要设计n(n-1)/2个SVM.

4 特征向量预处理类型:

canonical_variates：典型关联分析，在线性回归中，我们使用直线来拟合样本点，寻找n维特征向量X和输出结果Y之间的线性关系；

Principal component analysis：主成分分析，主成分分析（PCA）是一种统计过程，它使用一个正交变换，将一组可能的相关变量的观测值成一组线性不相关变量称为主成分的值；