目录
- 1. 概述
- 2. K-MEANS算法
- 2.1 工作流程
- 2.2 代码实践
1. 概述
聚类算法是一种无监督学习方法,用于将数据集中的对象分组或聚集成具有相似特征的集合,该集合被称为簇(cluster)。聚类算法通过计算数据点之间的相似性或距离,将相似的数据点归为同一簇,使簇内差距最小化,簇间差距最大化,从而将数据集划分为多个互相区分的组。聚类算法的目标是在无标签的情况下,发现数据中的内在结构和模式。聚类算法可以发现数据中的隐藏模式、异常值或离群点,以及进行数据预处理和可视化。
2. K-MEANS算法
算法思想:以空间中的 K 个点为中心进行聚类,对最靠近他们的对象进行归类。通过迭代的方法,逐次更新各聚类中心的值,直至得到最好的聚类结果。
2.1 工作流程
- 先从没有标签的元素集合 A 中随机取 K 个元素,作为 K 个簇各自的质心。
- 分别计算剩下的元素到 K 个簇的质心的距离(可以使用欧氏距离),根据距离将这些元素划归到最近的簇。
- 根据聚类结果,重新计算质心(计算子集中所有元素各个维度的算数平均数)。
- 将集合 A 中所有元素按照新计算的质心重新进行聚类。
- 重复第3-4步,直到所有质心不再发生变化。
2.2 代码实践
from sklearn.cluster import KMeans
import numpy as np
import matplotlib.pyplot as plt
# 载入数据,以空格分隔数据
data = np.genfromtxt("kmeans.txt", delimiter=" ")
# 训练模型,设置4个聚类中心
model = KMeans(n_clusters=4)
model.fit(data)
# 聚类中心点坐标
centers = model.cluster_centers_
# 预测结果,也可以通过model.labels_查看模型中各样本点的类别
result = model.predict(data)
# 用不同颜色表示类别
mark = ['or', 'ob', 'og', 'oy']
# enumerate用于在迭代过程中同时获取元素的索引和值
for i,d in enumerate(data):
plt.plot(d[0], d[1], mark[result[i]])
# 画出各个聚类的中心点
mark = ['*r', '*b', '*g', '*y']
for i,center in enumerate(centers):
plt.plot(center[0], center[1], mark[i], markersize=20)
# 获取数据值所在的范围,这里的+1、-1是为了不让样本点出现在边框上
# 获取数据值所在的范围
x_min, x_max = data[:, 0].min() - 1, data[:, 0].max() + 1
y_min, y_max = data[:, 1].min() - 1, data[:, 1].max() + 1
# 生成网格矩阵元素
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02),
np.arange(y_min, y_max, 0.02))
#--------------------------------------------------------#
# 预测分类结果
# ravel():将多为数据展平为一维数据
# np.c_:按列连接两个数组,即拼接成点的坐标的形式
# contourf(xx, yy, z):创建填充等高线图,参数需为二维数组
#--------------------------------------------------------#
z = model.predict(np.c_[xx.ravel(), yy.ravel()])
z = z.reshape(xx.shape)
cs = plt.contourf(xx, yy, z)
# 绘制样本点
mark = ['or', 'ob', 'og', 'oy']
for i,d in enumerate(data):
plt.plot(d[0], d[1], mark[result[i]])
# 绘制各个聚类的中心点
mark = ['*r', '*b', '*g', '*y']
for i,center in enumerate(centers):
plt.plot(center[0],center[1], mark[i], markersize=20)