【机器学习】有监督学习算法之：支持向量机

支持向量机

1、引言
2、决策树
- 2.1 定义
- 2.2 原理
- 2.3 实现方式
- 2.4 算法公式
- 2.5 代码示例
3、总结

1、引言

小屌丝：鱼哥，泡澡啊。
小鱼：不去
小屌丝：… 此话当真？
小鱼：此话不假
小屌丝：到底去还是不去？
小鱼：我昨天刚泡完澡，今天还去？
小屌丝：… 你竟然自己去？
小鱼：没有啊
在这里插入图片描述

小屌丝：… 我不信，我不听，反正你昨天去泡澡没带我。
小鱼：…那待会咱俩再去呗
小屌丝：这还差不多。嘿嘿~ ~
小鱼：那等我一会
小屌丝：干啥啊这又？
小鱼：当然是在忙喽。
小屌丝：…

2、决策树

2.1 定义

支持向量机（Support Vector Machine，简称SVM）是一种分类算法，它试图找到一个超平面来分隔两个类别的数据点，使得两侧的间隔（margin）最大。

当数据点在高维空间中不是线性可分时，SVM通过使用核函数（kernel function）将原始数据映射到更高维的特征空间，使得数据在新的空间中线性可分。

2.2 原理

SVM的基本原理涉及到高维空间中的数据点和一个决策边界（也称为超平面）。它的目标是找到一个超平面，使得不同类别的数据点距离它最远，这个距离称为“间隔”。

工作原理如下：

数据转换：首先，SVM将数据点映射到高维空间，这样它们可以更容易地被一个超平面分开。
超平面选择：然后，SVM尝试找到一个超平面，使得不同类别的支持向量离它最远。这个超平面的方程可以表示为：，其中是超平面的法向量，是偏置。
间隔最大化：SVM的目标是最大化支持向量到超平面的距离，这个距离称为“间隔”。间隔的计算公式是：。
分类：最后，SVM使用这个超平面来进行分类。对于新的数据点，它会根据这个超平面的位置来决定它属于哪个类别。

2.3 实现方式

SVM的实现方式主要包括：

线性可分SVM：当数据集线性可分时，可以直接使用线性SVM进行分类。
线性SVM（软间隔）：当数据集近似线性可分时，引入松弛变量和惩罚参数，允许部分样本被错分。
非线性SVM：当数据集非线性可分时，使用核函数将原始数据映射到更高维的特征空间，然后在新的空间中寻找最优超平面。

2.4 算法公式

SVM的公式可能看起来有点吓人，但我们可以用简单的例子来解释它们。

数据点的映射：
- 假设我们在二维空间中有数据点 ((x_1, y_1), (x_2, y_2), \ldots, (x_n, y_n))。
- 我们可以将它们映射到三维空间，通过增加一个额外的维度 (z)，得到新的数据点 ((x_1, y_1, z_1), (x_2, y_2, z_2), \ldots, (x_n, y_n, z_n))。
- 这个映射可以通过一个函数 (f) 来实现，例如 (z = f(x, y))。
超平面选择：
- 在三维空间中，我们的超平面方程可以表示为：[ w_1x + w_2y + w_3z + b = 0 ]。这里的(w_1, w_2, w_3) 是超平面的法向量的分量，(b) 是偏置项。这个超平面将数据点分隔成两个类别。
间隔最大化：
- 在SVM中，间隔是指数据点到超平面的最短距离。对于任意数据点 ((x, y, z)) 和超平面 (w_1x + w_2y + w_3z + b = 0)，其到超平面的距离 (d) 可以计算为：
  
  [ d = \frac{|w_1x + w_2y + w_3z + b|}{\sqrt{w_1^2 + w_2^2 + w_3^2}} ]
- 间隔最大化就是要找到这样的超平面，使得所有数据点到这个超平面的距离中的最小值最大。
分类：
- 对于新的数据点 ((x_{\text{new}}, y_{\text{new}}, z_{\text{new}}))，我们可以将其映射到三维空间，然后计算它到超平面的距离 (d_{\text{new}})。
- 根据 (d_{\text{new}}) 的正负以及超平面的位置（由法向量的方向决定），我们可以判断这个数据点属于哪一个类别。

2.5 代码示例

# -*- coding:utf-8 -*-
# @Time   : 2024-02-21
# @Author : Carl_DJ

'''
实现功能：
    用于生成线性可分的数据集并可视化SVM的分界线

'''
import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.svm import SVC

# 生成线性可分的数据集
X, y = datasets.make_classification(n_samples=100, n_features=2, n_informative=2, n_redundant=0, random_state=42)

# 创建SVM分类器并拟合数据
clf = SVC(kernel='linear', C=1000)
clf.fit(X, y)

# 绘制数据点
plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.Paired, marker='o', edgecolors='k')

# 绘制决策边界
ax = plt.gca()
xlim = ax.get_xlim()
ylim = ax.get_ylim()

# 创建网格来评估模型
xx, yy = np.meshgrid(np.linspace(xlim[0], xlim[1], 50), np.linspace(ylim[0], ylim[1], 50))
Z = clf.decision_function(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)

# 绘制决策边界
ax.contour(xx, yy, Z, colors='k', levels=[-1, 0, 1], alpha=0.5, linestyles=['--', '-', '--'])
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.title('SVM Decision Boundary')
plt.show()

在这里插入图片描述

3、总结

支持向量机是一种强大的分类算法，它通过寻找最优超平面来实现分类，并且具有优秀的泛化能力。
SVM对于高维数据的处理效果尤为出色，并且可以通过核函数来处理非线性问题。
然而，SVM的计算复杂度相对较高，尤其是当样本数量很大时，训练过程可能会比较慢。
在实际应用中，需要根据具体问题和数据集特点来选择合适的算法和参数。

我是小鱼：