16.线性回归代码实现

线性回归的实操与理解

介绍

线性回归是一种广泛应用的统计方法，用于建模一个或多个自变量（特征）与因变量（目标）之间的线性关系。在机器学习和数据科学中，线性回归是许多入门者的第一个模型，它提供了对监督学习问题的基础理解。本文将介绍线性回归的基本概念，并通过Python和PyTorch库来实操线性回归模型，深入理解其训练和预测过程。

线性回归的基本概念

线性回归假设目标变量（y）是输入变量（X）的线性组合，并可以通过最小二乘法来估计模型的参数（权重w和偏置b）。数学上，线性回归模型可以表示为：

$y=w1x1+w2x2+…+wnxn+b$

或者更一般地，使用矩阵形式表示：

$y=XW+b$

其中，X 是特征矩阵，W 是权重向量，b 是偏置项。

实操：使用PyTorch实现线性回归

1. 导入必要的库

首先，我们需要导入PyTorch和其他必要的库。

import torch  
import torch.nn as nn  
import torch.optim as optim  
import numpy as np  
import matplotlib.pyplot as plt

2. 生成模拟数据

为了演示线性回归，我们将生成一些模拟数据。

# 设置随机种子  
torch.manual_seed(0)  
np.random.seed(0)  
  
# 生成数据  
n_samples = 100  
x = torch.randn(n_samples, 1) * 10  # 输入数据  
w_true = 2  
b_true = 1  
y = x * w_true + b_true + torch.randn(n_samples, 1) * 0.5  # 真实标签

3. 定义线性回归模型

使用PyTorch的nn.Module来定义线性回归模型。

class LinearRegressionModel(nn.Module):  
    def __init__(self, input_dim=1, output_dim=1):  
        super(LinearRegressionModel, self).__init__()  
        self.linear = nn.Linear(input_dim, output_dim)  
  
    def forward(self, x):  
        out = self.linear(x)  
        return out

4. 初始化模型和优化器

实例化模型，并定义损失函数和优化器。

# 初始化模型  
model = LinearRegressionModel()  
  
# 定义损失函数和优化器  
criterion = nn.MSELoss()  
optimizer = optim.SGD(model.parameters(), lr=0.01)

5. 训练模型

通过迭代训练数据来训练模型。

# 训练模型  
num_epochs = 1000  
for epoch in range(num_epochs):  
    # 前向传播  
    outputs = model(x)  
    loss = criterion(outputs, y)  
      
    # 反向传播和优化  
    optimizer.zero_grad()  # 清空梯度  
    loss.backward()  # 反向传播计算梯度  
    optimizer.step()  # 更新参数  
  
    if (epoch+1) % 100 == 0:  
        print('Epoch [{}/{}], Loss: {:.4f}'.format(epoch+1, num_epochs, loss.item()))

6. 评估模型

在训练完成后，我们可以评估模型的性能。但在这个简单的例子中，我们主要关注于模型是否能学习到正确的权重和偏置。

7. 可视化结果

我们可以将预测结果和真实数据可视化出来。

# 提取训练后的参数  
w, b = model.linear.weight.item(), model.linear.bias.item()  
print('w = {}, b = {}'.format(w, b))  
  
# 可视化结果  
predicted = model(x).detach().numpy()  
plt.scatter(x.numpy(), y.numpy(), color='blue', label='True data')  
plt.plot(x.numpy(), predicted, color='red', linewidth=2, label='Predicted data')  
plt.legend()  
plt.show()