机器学习第14天：KNN近邻算法

☁️主页 Nowl

🔥专栏《机器学习实战》《机器学习》

📑君子坐而论道，少年起而行之

文章目录

介绍

实例

回归任务

缺点

实例

分类任务

如何选择最佳参数

结语

介绍

KNN算法的核心思想是：当我们要判断一个数据为哪一类时，我们找与它相近的一些数据，以这些数据的类别来判断新数据

实例

我们生成一些数据，看下面这张图

有两类点，红色与蓝色，这时我们再加入一个灰色的点

我们设置模型选择周围的三个点，可以看到最近的三个都是蓝色点，那么模型就会将新的数据判别为蓝色点

回归任务

尽管KNN算法主要用来做分类任务，但它也可以用来回归，新数据的值就是相近样本的平均值

缺点

由于它没有拟合参数，仅仅是找到周围样本点的平均值，在一些有趋势的曲线中它的预测往往不会很好

实例

我们创建几个样本点，可以看到这是一个完美的线性曲线，我们看看k近邻算法在这个简单任务上的表现

# 导入必要的库
from sklearn.neighbors import KNeighborsRegressor

# 生成一些示例数据（假设是二维特征）
X = [[1], [2], [3], [4], [5]]
y = [[3], [6], [9], [12], [15]]

x_new = [[6]]

# 创建 KNN 回归器，假设 K=3
knn = KNeighborsRegressor(n_neighbors=3)

# 在训练数据上拟合模型
knn.fit(X, y)

# 在测试数据上进行预测
y_pred = knn.predict(x_new)

print(y_pred)

在这个数据集上x为6的点y值应该是18，可是k近邻回归的特点取周围样本点的平均值，结果就会是12

分类任务

我们以上图的数据为例

# 导入KNN分类库
from sklearn.neighbors import KNeighborsClassifier


# 生成一些示例数据
X = [[1, 8], [2, 5], [3, 7], [5, 13], [6, 11], [7, 14]]
y = [0, 0, 0, 1, 1, 1]

x_new = [[6, 12]]

# 创建 KNN 分类器，设置k=3
knn = KNeighborsClassifier(n_neighbors=3)

# 在训练数据上拟合模型
knn.fit(X, y)

# 进行预测
y_pred = knn.predict(x_new)

print(y_pred)

n_neighbors参数设置了新数据要参考周围的多少个点，这里设置为3，代表参考相近的三个点的值

结果为1

如何选择最佳参数

由以上知识可以知道，影响KNN算法的参数是n_neighbors，那么我们可以更新n_neighbors，然后记录下每个参数模型在测试集上的损失来获得最优参数

绘制代码如下，这里主要学习思想，数据可能会在之后的机器学习实战系列中遇到

import matplotlib.pyplot as plt
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split, cross_val_score
import pandas as pd
import numpy as np

# 读取数据
data = pd.read_csv("datasets/data-science-london-scikit-learn/train.csv", header=None)
y = pd.read_csv("datasets/data-science-london-scikit-learn/trainLabels.csv", header=None)
y = np.ravel(y)

# 将数据分为训练集和测试集
x_train, x_test, y_train, y_test = train_test_split(data, y, test_size=0.2, random_state=42)

N = range(2, 26)
kfold = 10
test_acc = []
val_acc = []

# 记录不同参数的准确率
for n in N:
    knn = KNeighborsClassifier(n_neighbors=n)
    knn.fit(x_train, y_train)
    test_acc.append(knn.score(x_train, y_train))
    val_acc.append(np.mean(cross_val_score(knn, x_test, y_test, cv=kfold)))


# 绘制准确率曲线
plt.plot(range(2, 26), test_acc, c='b', label='test_acc')
plt.plot(range(2, 26), val_acc, c='r', label='val_acc')
plt.xlabel('Number of Neighbors')
plt.ylabel('Accuracy')
plt.title('K Neighbors vs Accuracy')
plt.legend()
plt.show()

得到准确率与交叉验证误差曲线，