机器学习-SVM（支持向量机）

推荐课程：【机器学习实战】第5期支持向量机 |数据分析|机器学习|算法|菊安酱_哔哩哔哩_bilibili

赞美菊神ヾ ( ゜ⅴ゜)ﾉ

一、什么是支持向量机？

支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面（maximum-margin hyperplane）。

1.1 举个例子

在桌子上似乎有规律地放了两种颜色的球，要求你用一根棍子分离开他们，并且尽量再放更多的球之后，仍然适用。

SVM就是试图把棍放在最佳位置，好让在棍的两边有尽可能大的间隙（这被认为是最佳求解）。

并且，现在即使再放入更多的球，棍子仍然是一个很好的分界线。

但是，现在增加难度，如果将球散乱地放在桌子上，又该怎样进行划分呢？很明显，此时在二维平面中，这变成了一个线性不可分的问题，我们没有方法再用一根棍子将这些球分开了，那么怎么解决这样一个问题呢？

解决方法也很简单，我们可以使用一个核函数，将二维平面中的 '小球' 投影到三维空间，也许就可以在三维空间中，有可能找到这样一个平面将其分隔开来。（可以想象一下，用力拍向桌子，然后桌子上的球就被震到空中，瞬间抓起一张纸，插到两种球的中间。）

（话说，如果3维空间依旧找不到这样一个平面呢？没关系，我继续投四维呀╮(๑•́ ₃•̀๑)╭，总能找到一个维度解决线性不可分的问题。）

可以通过视频，更为直观地感受一下这个过程：支持向量机 SVM在线性不可分情况下进行分类可视化直观展示高维空间映射_哔哩哔哩_bilibili

而在二维平面的角度看这些球，这些球像是被一条曲线分开了。

更为规范的，我们把这些球叫做「data」，把棍子叫做「classififier」, 最大间隙 trick 叫做「optimization」，拍桌子叫做「kernelling」, 那张纸叫做「hyperplane」。

1.2 概述一下

当一个分类问题，数据是线性可分（linearly separable）的，也就是用一根棍就可以将两种小球分开的时候，我们只要将棍的位置放在让小球距离棍的距离最大化的位置即可，寻找这个最大间隔的过程，就叫做最优化。但是，一般的数据是线性不可分的，也就是找不到一个棍将两种小球很好的类。这个时候，我们就需要使用核函数 （kernel）将小球投影到多维空间（想象一下，将小球拍飞到空中，瞬间抓起一张纸，插到两种球的中间），而在多维空间中切分小球的平面，就是超平面（hyperplane）。如果数据集是N维的，那么超平面就是N-1维的。

Q：什么是支持向量？

A：把一个数据集正确分开的超平面可能有多个，而那个具有“最大间隔”的超平面就是SVM要寻找的最优解。而这个真正的最优解对应的两侧虚线所穿过的样本点，就是SVM中的支持样本点，称为“支持向量（support vector）”。支持向量到超平面的距离被称为间隔（margin）。