训练/测试、过拟合问题

在机器学习中，我们创建模型来预测某些事件的结果，比如之前使用重量和发动机排量，预测了汽车的二氧化碳排放量

要衡量模型是否足够好，我们可以使用一种称为训练/测试的方法

训练/测试是一种测量模型准确性的方法

之所以称为训练/测试，是因为我们将数据集分为两组：训练集和测试集

80％用于训练，20％用于测试

使用训练集来训练模型、

使用测试集来测试模型

训练模型意味着创建模型

测试模型意味着测试模型的准确

下面是模拟的数据：我们的数据集展示了商店中的 100 位顾客及其购物习惯

import numpy
import matplotlib.pyplot as plt

# 使用 `numpy.random.seed()` 函数设定种子可以确保每次生成的随机数序列是相同的
# 从而保证算法的可重复性和稳定性
numpy.random.seed(2)

x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 100) / x

plt.scatter(x, y)
plt.show()

散点图如下

x 轴表示购买前的分钟数

y 轴表示在购买上花费的金额

训练集应该是原始数据的 80％的随机选择

测试集应该是剩余的 20％

train_x = x[:80]
train_y = y[:80]

test_x = x[80:]
test_y = y[80:]

显示与训练集相同的散点图

plt.scatter(train_x, train_y)
plt.show()

如下所示

import numpy
import matplotlib.pyplot as plt
numpy.random.seed(2)

x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 100) / x

train_x = x[:80]
train_y = y[:80]

test_x = x[80:]
test_y = y[80:]

plt.scatter(train_x, train_y)
plt.show()

为了确保测试集不是完全不同，我们还要看一下测试集

plt.scatter(test_x, test_y)
plt.show()

进行拟合数据集，通过数据点画一条线，我们使用 matplotlib 模块的 plott() 方法

绘制穿过数据点的多项式回归线

import numpy
import matplotlib.pyplot as plt
numpy.random.seed(2)

x = numpy.random.normal(3, 1, 100)

# 对应位置逐个元素相除，可以用来进行归一化、标准化等数据预处理操作
y = numpy.random.normal(150, 40, 100) / x

train_x = x[:80]
train_y = y[:80]

test_x = x[80:]
test_y = y[80:]

mymodel = numpy.poly1d(numpy.polyfit(train_x, train_y, 4))

# 生成 0 ~ 6 之间的100个 等差数列用于拟合曲线
myline = numpy.linspace(0, 6, 100)

plt.scatter(train_x, train_y)
plt.plot(myline, mymodel(myline))
plt.show()

此结果可以支持我们对数据集拟合多项式回归的建议，即使如果我们尝试预测数据集之外的值会给我们带来一些奇怪的结果。例如：该行表明某位顾客在商店购物 6 分钟，会完成一笔价值 200 的购物。这可能是过拟合的迹象

但是 R-squared 分数呢？ R-squared score很好地指示了我的数据集对模型的拟合程度

R2，也称为 R平方（R-squared），它测量 x 轴和 y 轴之间的关系，取值范围从 0 到 1，其中 0 表示没有关系，而 1 表示完全相关

sklearn 模块有一个名为 rs_score() 的方法，该方法将帮助我们找到这种关系

在这里，我们要衡量顾客在商店停留的时间与他们花费多少钱之间的关系

import numpy
from sklearn.metrics import r2_score
numpy.random.seed(2)

x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 100) / x

train_x = x[:80]
train_y = y[:80]

test_x = x[80:]
test_y = y[80:]

mymodel = numpy.poly1d(numpy.polyfit(train_x, train_y, 4))

r2 = r2_score(train_y, mymodel(train_x))

print(r2)

因此，从上面的情况来看，在训练数据方面，我们已经建立了一个不错的模型

然后，我们要使用测试数据来测试模型，以检验是否给出相同的结果

import numpy
from sklearn.metrics import r2_score
numpy.random.seed(2)

x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 100) / x

train_x = x[:80]
train_y = y[:80]

test_x = x[80:]
test_y = y[80:]

mymodel = numpy.poly1d(numpy.polyfit(train_x, train_y, 4))

r2 = r2_score(test_y, mymodel(test_x))

print(r2)

结果 0.809 表明该模型也适合测试集，我们确信可以使用该模型预测未来值

如果购买客户在商店中停留 5 分钟，他/她将花费多少钱？

import numpy
from sklearn.metrics import r2_score
numpy.random.seed(2)

x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 100) / x

train_x = x[:80]
train_y = y[:80]

test_x = x[80:]
test_y = y[80:]

mymodel = numpy.poly1d(numpy.polyfit(train_x, train_y, 4))

print(mymodel(5))