机器学习之SMOTE重采样--解决样本标签不均匀问题

一、SMOTE原理

通常在处理分类问题中数据不平衡类别。使用SMOTE算法对其中的少数类别进行过采样，以使其与多数类别的样本数量相当或更接近。SMOTE的全称是Synthetic Minority Over-Sampling Technique 即“人工少数类过采样法”，非直接对少数类进行重采样，而是设计算法来人工合成一些新的少数样本。

二、使用

1.安装库

python提供了就是一个处理不均衡数据的imblearn库；其基于机器学习常用sklearn开发而成，使用方法和sklearn库十分相似,上手非常容易。imblearn库对不平衡数据的主要处理方法主要分为如下四种:

欠采样
过采样
联合采样
集成采样

包含了各种常用的不平衡数据处理方法，例如：随机过采样，SMOTE及其变形方法，tom-links欠采样，编辑最近邻欠采样方法等等。

pip3 install imbalanced-learn

2. 使用

安装完之后就可以从imblearn 导出SMOTE算法了:

from imblearn.over_sampling import SMOTE

sm =  SMOTE(
sampling_strategy = ‘auto’,
random_state = None, ## 随机器设定
k_neighbors = 5, ## 用相近的 5 个样本（中的一个）生成正样本
m_neighbors = 10, ## 当使用 kind={'borderline1', 'borderline2', 'svm'}
out_step = ‘0.5’, ## 当使用 kind = 'svm'
kind = 'regular', ## 随机选取少数类的样本
– borderline1： 最近邻中的随机样本b与该少数类样本a来自于不同的类
– borderline2： 随机样本b可以是属于任何一个类的样本;
– svm：使用支持向量机分类器产生支持向量然后再生成新的少数类样本
svm_estimator = SVC(), ## svm 分类器的选取
n_jobs = 1, ## 使用的例程数，为-1时使用全部CPU
ratio=None
)

仅用正样本的K近邻生成新正样本是正是SMOTE方法，考虑到（SMOTE的最终目的是分清正负样本的边界），所以需要对样本生成进行优化

3. 优化

SMOTE优化bordeline1方法

Dgr = [] # 危险集
for i in 正样本：
      1) 计算点 i 在训练集 D 上的 m 个最近邻。
         x =  i 的最近邻中属于负样本的数量
      2) 如果 x  = m，则 p 是一个噪声
          next
      3) 如果 0 ≤ x ≤ m/2, 则说明p很安全
          next
      4) 如果 m/2 ≤ x ≤ m, 那么点p就很危险了，我们需要在这个点附近生成一些新的少数类点
         Dgr.append(x)
最后，对于每个在危险集(Dgr)中的点，使用SMOTE算法生成新的样本

SMOTE优化 borderline2 方法简述

前面1-4步骤均同 borderline1 方法
在最后进行SMOTE的时候：
采用了 比例分配 生成新样本
for i in Dgr:
    1) 正样本 K 个近邻
    2) 负样本 K 个近邻
    3) 正样本 K 个近邻选取 alpha 比例的样本点 
    	和 i 作随机的线性插值 ==>> 新正样本点
    4) 负样本K个近邻选取 (1 - alpha) 比例的样本点 
    	和 i 作随机的线性插值 ==>> 新正样本点

三、例子

Original dataset shape Counter({1: 900, 0: 100})
Resampled dataset shape Counter({0: 900, 1: 900})

from imblearn.over_sampling import SMOTE
from sklearn.datasets import make_classification
from collections import Counter
import matplotlib.pyplot as plt
 
# 创建一个不平衡的数据集
X, y = make_classification(n_classes=2, class_sep=2,
                           weights=[0.1, 0.9], n_informative=3, n_redundant=1,
                           flip_y=0, n_features=20, n_clusters_per_class=1,
                           n_samples=1000, random_state=10)
 
print('Original dataset shape %s' % Counter(y))
 
# 使用SMOTE算法平衡数据集
smote = SMOTE(random_state=42)
X_resampled, y_resampled = smote.fit_resample(X, y)
 
print('Resampled dataset shape %s' % Counter(y_resampled))
 
# 可视化原始数据集和平衡后的数据集
plt.figure(figsize=(16, 6))
 
plt.subplot(1, 2, 1)
plt.scatter(X[:, 0], X[:, 1], c=y, marker='o', cmap='coolwarm', alpha=0.6)
plt.title('Original Dataset')
 
plt.subplot(1, 2, 2)
plt.scatter(X_resampled[:, 0], X_resampled[:, 1], c=y_resampled, marker='o', cmap='coolwarm', alpha=0.6)
plt.title('Resampled Dataset')
 
plt.tight_layout()
plt.show()