【算法】一类支持向量机OC-SVM
- 前言
- 一类支持向量机OC-SVM 概念介绍
- 示例编写
- 数据集创建
- 实现一类支持向量机OC-SVM
- 完整的示例输出
前言
由于之前毕设期间主要的工具就是支持向量机，从基础的回归和分类到后来的优化，在接触到支持向量机还有一类支持向量机的，对其产生了一定的兴趣，并对研究过程中的相关示例进行记录，主要是基础的一类支持向量机OC-SVM示例和蜂群算法优化一类支持向量机超参数示例，方便后续的查看。
一类支持向量机OC-SVM 概念介绍
OC-SVM（One-Class Support Vector Machine）是一种支持向量机（Support Vector Machine，SVM）的变体，用于异常检测和异常检测问题。与传统的SVM只能处理二分类问题不同，OC-SVM旨在通过仅使用正例样本来学习一个描述正例样本特征的超平面，并尽可能将负例样本远离该超平面。
在OC-SVM中，训练样本仅包含正例样本，目标是找到一个最优的超平面，使得正例样本尽可能地位于该超平面上方，并使负例样本尽可能地位于该超平面下方。这样，当新的样本点被映射到特征空间时，可以根据其相对于超平面的位置进行分类，从而判断其是否为异常样本。
该介绍不那么通俗易懂，看了一篇文章，简单的说，以前的svm 分类有明细的划分，现在的oc-svm则只有一个类别的划分，也就是正例，至于其他的都归属于负例。这个在大神的知乎文章什么是一类支持向量机（one class SVM），是指分两类的支持向量机吗？中有通俗的例子讲解，这边不进行重复论述。
示例编写
主要是基于vscode 编译器展开python的编写，只需要在扩展中下载Python 插件即可。
数据集创建
数据集包括测试与训练集，由于一类支持向量机OC-SVM在示例中只要采用python 中的OneClassSVM，而它返回的预测标签如果 正常数据点返回 1，异常点返回 -1 ，因此在数据集的标签要做相应的处理，正例为1，负例为-1。
# 假设 X 是训练数据，它应该是一个形状为 (n_samples, n_features) 的二维数组
# 这里我们创建一个简单的示例数据集
X = np.random.normal(size=(100, 2))
binary_array = np.random.randint(2, size=100)
binary_array=np.where(binary_array == 0, -1, 1)
# 预测
# 使用训练好的模型预测新数据点的标签，正常数据点返回 1，异常点返回 -1
X_test = np.random.normal(size=(10, 2))
实现一类支持向量机OC-SVM
主要采用OneClassSVM，也是sklearn库里面的，pip 一下就行。使用起来跟svm 基本一样。
# 创建一个 OneClassSVM 对象
# 通过 'nu' 参数来控制错误率的上界和支持向量的比例
# 'kernel' 参数可以选择核函数，例如 'rbf' 代表径向基函数核
# 'gamma' 是 'rbf', 'poly' 和 'sigmoid' 核函数的系数
ocsvm = svm.OneClassSVM(nu=0.1, kernel="rbf", gamma=0.1)
- ‘nu’ 参数来控制错误率的上界和支持向量的比例
- ‘kernel’ 参数可以选择核函数，例如 ‘rbf’ 代表径向基函数核
- ‘gamma’ 是 ‘rbf’, ‘poly’ 和 ‘sigmoid’ 核函数的系数
- ‘shrinking’ 参数如果设为 True，则会使用启发式收缩
- ‘tol’ 是停止训练的误差值大小
- ‘cache_size’ 是指定训练时使用的缓存大小
- ‘verbose’ 是控制日志输出的数量
这个可以直接看源码的注释，里面都有介绍。
完整的示例输出
# demo
from sklearn import svm
import numpy as np
# 假设 X 是训练数据，它应该是一个形状为 (n_samples, n_features) 的二维数组
# 这里我们创建一个简单的示例数据集
X = np.random.normal(size=(100, 2))
binary_array = np.random.randint(2, size=100)
binary_array=np.where(binary_array == 0, -1, 1)
print(binary_array)
# 创建一个 OneClassSVM 对象
# 通过 'nu' 参数来控制错误率的上界和支持向量的比例
# 'kernel' 参数可以选择核函数，例如 'rbf' 代表径向基函数核
# 'gamma' 是 'rbf', 'poly' 和 'sigmoid' 核函数的系数
ocsvm = svm.OneClassSVM(nu=0.1, kernel="rbf", gamma=0.1)
# 训练模型
ocsvm.fit(X,binary_array)
# 预测
# 使用训练好的模型预测新数据点的标签，正常数据点返回 1，异常点返回 -1
X_test = np.random.normal(size=(10, 2))
# print(X_test)
print("--------------")
predictions = ocsvm.predict(X_test)
# 输出预测结果
print(predictions)
print("--------------")
# 也可以使用 decision_function 方法来获取每个样本到决策边界的距离
# 负数通常表示异常值
distances = ocsvm.decision_function(X_test)
print(distances)
从输出的结果来看，有2组示例预测为负例，然后可以通过与真实标签比较，调整超参数来提交预测的精度。也可以嵌入寻优方法，这个在往期博文都有介绍，比如ga、pso等等。
在资源中上传了用蜂群算法优化一类支持向量机超参数的2个示例，有需要可以直接下载使用。
