通俗易懂之线性回归时序预测PyTorch实践

线性回归（Linear Regression）是机器学习中最基本且广泛应用的算法之一。它不仅作为入门学习的经典案例，也是许多复杂模型的基础。本文将全面介绍线性回归的原理、应用，并通过一段PyTorch代码进行实践演示，帮助读者深入理解这一重要概念。

线性回归概述

线性回归是一种用于预测因变量（目标变量）与一个或多个自变量（特征变量）之间关系的统计方法。其目标是在数据点之间找到一条最佳拟合直线，使得预测值与实际值之间的误差最小。

基本形式：

简单线性回归：只有一个自变量。
多元线性回归：包含多个自变量。

本文将聚焦于简单线性回归，即仅考虑一个自变量的情况。

线性回归的数学原理

模型表达式

简单线性回归的模型表达式为：

$y = w x + b$

其中：

$y$ 是预测值。
$x$ 是输入特征。
$w$ 是权重（斜率）。
$b$ 是偏置（截距）。

损失函数

为了衡量模型预测值与实际值之间的差异，通常使用均方误差（Mean Squared Error, MSE）作为损失函数：

$\text{Loss} = \frac{1}{2} \sum_{i=1}^{N} (y_i^{\text{pred}} - y_i)^2$

优化算法

线性回归常用的优化算法是梯度下降（Gradient Descent）。通过计算损失函数关于参数 $w$ 和 $b$ 的梯度，迭代更新参数以最小化损失。

更新规则如下：

$\eta \frac{\partial \text{Loss}}{\partial w}$

$\eta \frac{\partial \text{Loss}}{\partial b}$

其中 $\eta$ 是学习率。

应用场景

线性回归在多个领域有广泛应用，包括但不限于：

经济学：预测经济指标，如GDP、通货膨胀率等。
工程学：估计物理量之间的关系，如材料强度与应力。
医疗：预测疾病发展趋势，如体重增长与健康指标。
金融：股价预测、风险评估等。

PyTorch实现线性回归

接下来，我们将通过一段PyTorch代码实践线性回归，从数据生成、模型训练到可视化展示，全面演示线性回归的实现过程。代码参考《深度学习框架PyTorch入门与实践》一书的实现，为了感受线性回归的计算过程，代码并未直接调用python中已有的线性回归库。

代码解析

首先，我们导入必要的库并设置随机种子以确保结果可复现。

import torch as t
import matplotlib.pyplot as plt
from IPython import display

t.manual_seed(1000)

数据生成函数

定义一个函数 get_fake_data 来生成假数据，这些数据遵循线性关系 $y = 2 x + 3$ 并添加了一定的噪声。

def get_fake_data(batch_size=8):
    x = t.randn(batch_size, 1, dtype=float) * 20  # 随机生成x，范围扩大到[-20, 20]
    y = x * 2 + (1 + t.randn(batch_size, 1, dtype=float)) * 3  # y = 2x + 3 + 噪声
    return x, y

调用该函数生成一批数据并进行可视化。

x, y = get_fake_data()

plt.figure()
plt.scatter(x, y)
plt.show()

参数初始化

随机初始化权重 $w$ 和偏置 $b$ ，并设置学习率 $l r$ 。

# 随机初始化参数
w = t.rand(1, 1, requires_grad=True, dtype=float)
b = t.zeros(1, 1, requires_grad=True, dtype=float)

lr = 0.00001

训练过程

通过1000次迭代，使用梯度下降法优化参数 $w$ 和 $b$ 。

for i in range(1000):
    x, y = get_fake_data()

    y_pred = x.mm(w) + b.expand_as(y)  # 预测值

    loss = 0.5 * (y_pred - y) ** 2  # 均方误差
    loss = loss.sum()

    loss.backward()  # 反向传播计算梯度

    # 更新参数
    w.data.sub_(lr * w.grad.data)
    b.data.sub_(lr * b.grad.data)

    # 梯度清零
    w.grad.data.zero_()
    b.grad.data.zero_()

    # 每100次迭代可视化一次结果
    if i % 100 == 0:
        display.clear_output(wait=True)
        x_plot = t.arange(0, 20, dtype=float).view(-1, 1)
        y_plot = x_plot.mm(w) + b.expand_as(x_plot)
        plt.plot(x_plot.data, y_plot.data, label='Fitting Line')

        x2, y2 = get_fake_data(batch_size=20)
        plt.scatter(x2, y2, color='red', label='Data Points')

        plt.xlim(0, 20)
        plt.ylim(0, 41)
        plt.legend()
        plt.show()
        plt.pause(0.5)

可视化与训练过程

训练过程中，每隔100次迭代，会清除之前的输出，绘制当前拟合的直线与新生成的数据点。随着训练的进行，拟合线将逐渐接近真实的线性关系 $y = 2 x + 3$ 。

以下是训练过程中的可视化效果示例：

在这里插入图片描述

注：实际运行代码时，图像会动态更新，展示拟合过程。

代码关键点解析

数据生成：
- 使用 torch.randn 生成标准正态分布的随机数，并通过线性变换获取 x 和 y。
- 添加噪声使模型更贴近真实场景。
参数初始化：
- w 随机初始化，b 初始化为零。
- requires_grad=True 表示在反向传播时需要计算梯度。
前向传播：
- 计算预测值 y_pred = x.mm(w) + b.expand_as(y)。
- 使用矩阵乘法 mm 实现线性变换。
损失计算：
- 采用均方误差损失函数。
- loss.backward() 计算损失函数相对于参数的梯度。
参数更新：
- 使用学习率 lr 按梯度方向更新参数。
- data.sub_ 进行原地更新，避免梯度计算图的干扰。
梯度清零：
- 每次参数更新后，需要清零梯度 w.grad.data.zero_() 和 b.grad.data.zero_()，以防止梯度累积。
可视化：
- 使用 matplotlib 绘制拟合线和数据点。
- display.clear_output(wait=True) 清除之前的图像，避免图形堆积。
- plt.pause(0.5) 控制图像更新速度。