大家好,我是微学AI,今天给大家介绍一下人工智能算法工程师(中级)课程6-sklearn机器学习之聚类问题与代码详解。在机器学习领域,聚类是一种无监督学习方法,旨在将相似的数据点划分为同一类别。sklearn是一个广泛应用于机器学习的Python库,提供了多种聚类算法。本文将详细介绍K-Means、DBSCAN和层次聚类这三种算法的数学原理、公式及实现代码。
文章目录
- sklearn机器学习之聚类问题与代码详解
- 1.K-Means算法
- K-Means的数学原理
- K-Means的公式
- K-Means算法代码实现
- 2.DBSCAN算法
- DBSCAN算法数学原理
- DBSCAN算法公式
- DBSCAN算法代码实现
- 3.层次聚类
- 层次聚类数学原理
- 层次聚类公式
- 层次聚类代码实现
- 总结
sklearn机器学习之聚类问题与代码详解
1.K-Means算法
K-Means的数学原理
K-Means算法是一种基于距离的聚类方法。其目标是将数据集划分为K个簇,使得每个数据点与其所属簇的中心点距离最小。
K-Means算法过程如下:
-初始化:随机选择K个数据点作为初始聚类中心。
-分配步骤:对于数据集中的每一个数据点,计算它与每个聚类中心的距离,并将其分配到最近的聚类中心所代表的簇中。
-更新步骤:重新计算每个簇的中心点。新的聚类中心是该簇所有数据点的均值,即取簇内所有点的坐标的平均值。
-迭代:重复步骤2和步骤3,直到满足停止条件。停止条件可以是聚类中心的变化小于某个阈值、达到预设的迭代次数或者数据点的簇分配不再改变。
-结束:当聚类中心的变化小于预设的阈值或达到最大迭代次数时,算法停止迭代,此时的聚类中心即为最终结果。
K-Means的公式
设数据集为X,聚类中心为C,则K-Means算法的目标函数为:
J
=
∑
i
=
1
K
∑
x
∈
S
i
∣
∣
x
−
c
i
∣
∣
2
J = \sum_{i=1}^{K} \sum_{x \in S_i} ||x - c_i||^2
J=i=1∑Kx∈Si∑∣∣x−ci∣∣2
其中,
S
i
S_i
Si表示第i个簇,
c
i
c_i
ci表示第i个簇的中心点。
K-Means算法代码实现
from sklearn.cluster import KMeans
import numpy as np
# 生成数据
X = np.random.rand(100, 2)
# 初始化KMeans
kmeans = KMeans(n_clusters=3)
# 拟合数据
kmeans.fit(X)
# 预测结果
labels = kmeans.predict(X)
# 输出聚类中心
print("聚类中心:", kmeans.cluster_centers_)
2.DBSCAN算法
DBSCAN算法数学原理
DBSCAN(Density-Based Spatial Clustering of Applications with Noise)是一种基于密度的聚类算法。它将具有足够高密度的区域划分为簇,并可以发现任意形状的簇。
DBSCAN算法公式
DBSCAN算法涉及以下两个参数:
- ε(邻域半径):判断一个点是否为核心点的邻域半径
- MinPts(最小样本数):判断一个核心点是否为边界点的最小样本数
一个点p的密度可达点定义为:从p出发,通过密度相连的点可以到达的所有点。
DBSCAN算法的过程如下:
1.参数选择:首先,需要选择两个参数:
- ε(epsilon):邻域半径,表示一个点的邻域大小。
- MinPts:最小样本数,表示一个区域内至少需要多少个点才能被视为密度可达。
2.核心点识别:对于数据集中的每个点,计算以该点为中心、半径为ε的邻域内的点的数量。如果这个数量大于或等于MinPts,则该点被称为核心点。
3.密度直达:如果一个点p在另一个核心点q的ε邻域内,那么点p由点q密度直达。
4.密度可达:如果一个点p由核心点q密度直达,核心点q由核心点r密度直达,以此类推,形成一条链,那么点p由点r密度可达,即使点p不在点r的ε邻域内。
5.簇的形成:从数据集中任意选择一个未访问过的核心点开始,找出所有从这个点密度可达的核心点,这些点组成一个簇。重复这个过程,直到所有核心点都被访问过。
6.噪声点的识别:所有不是核心点且不与任何核心点密度可达的点被认为是噪声点。
DBSCAN算法代码实现
from sklearn.cluster import DBSCAN
import numpy as np
# 生成数据
X = np.random.rand(100, 2)
# 初始化DBSCAN
dbscan = DBSCAN(eps=0.3, min_samples=5)
# 拟合数据
dbscan.fit(X)
# 预测结果
labels = dbscan.labels_
# 输出聚类结果
print("聚类结果:", labels)
3.层次聚类
层次聚类数学原理
层次聚类(Hierarchical Clustering)是一种逐步合并或分裂的聚类方法。它分为自底向上(凝聚)和自顶向下(分裂)两种策略。
层次聚类公式
层次聚类的相似度计算方法有多种,如最小距离、最大距离和平均距离等。以下是最小距离的计算公式:
d
m
i
n
(
C
i
,
C
j
)
=
min
x
∈
C
i
,
y
∈
C
j
∣
∣
x
−
y
∣
∣
d_{min}(C_i, C_j) = \min_{x \in C_i, y \in C_j} ||x - y||
dmin(Ci,Cj)=x∈Ci,y∈Cjmin∣∣x−y∣∣
层次聚类代码实现
from sklearn.cluster import AgglomerativeClustering
import numpy as np
# 生成数据
X = np.random.rand(100, 2)
# 初始化层次聚类
agg_clustering = AgglomerativeClustering(n_clusters=3, linkage='ward')
# 拟合数据
agg_clustering.fit(X)
# 预测结果
labels = agg_clustering.labels_
# 输出聚类结果
print("聚类结果:", labels)
总结
本篇文章详细介绍了sklearn中三种常见的聚类算法:K-Means、DBSCAN和层次聚类。通过数学原理、公式及代码实现,帮助读者更好地理解和应用这些算法。在实际应用中,根据数据特点选择合适的聚类算法至关重要。希望本文对您有所帮助!