法线方程实现最小二乘拟合（Matlab）

一、问题描述

利用法线方程实现最小二乘拟合。

二、实验目的

掌握法线方程方法的原理，能够利用法线方程完成去一组离散数据点的拟合。

三、实验内容及要求

对于下面的不一致系统，构造法线方程，计算最小二乘以及2-范数误差。
$\left[\begin{array}{rrr} 3 & -1 & 2 \\ 4 & 1 & 0 \\ -3 & 2 & 1 \\ 1 & 1 & 5 \\ -2 & 0 & 3 \end{array}\right] \left[\begin{array}{r} x_1 \\ x_2 \\ x_3 \end{array}\right] = \left[\begin{array}{r} 10 \\ 10 \\ -5 \\ 15 \\ 0 \end{array}\right]$
```
% 系数矩阵
A = [3, -1, 2;
     4, 1, 0;
    -3, 2, 1;
     1, 1, 5;
    -2, 0, 3];

% 右侧的常数矩阵
B = [10; 10; -5; 15; 0];

% 使用最小二乘法求解
X = lsqlin(A, B);

% 计算法线方程的系数
a = X(1);
b = X(2);
c = X(3);

fprintf('构造的法线方程: %.2fx + %.2fy + %.2fz\n', a, b, c);
fprintf('最小二乘解: x1 = %.2f, x2 = %.2f, x3 = %.2f\n', X(1), X(2), X(3));

% 计算2-范数误差
error = norm(A * X - B, 2);
fprintf('2-范数误差为: %.2f\n', error);
```

如下为日本2023 年的每月石油消耗数据。
利用周期模型y = c1 + c2 * cos2𝜋 + c3 * sin2𝜋 + c4 * cos4𝜋进行拟合，并计算RMSE。

month	oil use (10^6 bbl/day)
Jan	6.224
Feb	6.665
Mar	6.241
Apr	5.302
May	5.073
Jun	5.127
Jul	4.994
Aug	5.012
Sep	5.108
Oct	5.377
Nov	5.510
Dec	6.372

% 输入数据
month = 1:12;
oil_use = [6.224, 6.665, 6.241, 5.302, 5.073, 5.127, 4.994, 5.012, 5.108, 5.377, 5.51, 6.372];

% 构造周期模型
A = [ones(12, 1), cos(2 * pi * month'/12), sin(2 * pi * month'/12), cos(4 * pi * month'/12)];

% 使用最小二乘法求解
c = lsqlin(A, oil_use);

% 构造法线方程
y_fit = c(1) + c(2) * cos(2 * pi * month/12) + c(3) * sin(2 * pi * month/12) + c(4) * cos(4 * pi * month/12);

% 计算RMSE
rmse = sqrt(mean((oil_use - y_fit).^2));

fprintf('构造的法线方程: y = %.4f + %.4f * cos(2*pi*x/12) + %.4f * sin(2*pi*x/12) + %.4f * cos(4*pi*x/12)\n', c(1), c(2), c(3), c(4));
fprintf('最小二乘解: c1 = %.4f, c2 = %.4f, c3 = %.4f, c4 = %.4f\n', c(1), c(2), c(3), c(4));
fprintf('RMSE: %.4f\n', rmse);

四、算法原理

给出法线方程进行数据拟合的过程。

背景：
数据拟合是一种通过数学模型来近似描述和预测现有数据的方法。法线方程（Normal Equation）是一种常用于最小二乘法（Least Squares）的工具，用于找到最优拟合参数，以最小化观测数据与模型预测之间的误差。

法线方程的基本形式：
对于一个线性模型，假设我们有一个包含m个样本的矩阵X（设计矩阵）和一个包含目标变量的列向量y，线性模型可以表示为：

$\beta + \varepsilon$

其中， $y$ 是目标变量， $X$ 是设计矩阵， $\beta$ 是待求参数向量， $\varepsilon$ 是误差向量。最小二乘法的目标是找到最优的 $\beta$ ，使得误差的平方和最小。

法线方程的推导：
法线方程通过对最小二乘问题的偏导数为零的条件进行求解而得到。对于线性回归问题，法线方程可以写作：

$X^T X \beta = X^T y$

其中， $X^T$ 表示矩阵 $X$ 的转置。解这个方程可以得到最优的参数向量 $\beta$ 。

法线方程的拟合过程：

构造设计矩阵 (X)： 将样本数据按照模型的形式构造成设计矩阵。每一行对应一个样本，每一列对应一个特征。
构造目标变量向量 (y)： 将观测到的目标变量按照样本顺序构造成列向量。
计算法线方程： 使用法线方程 $X^T X \beta = X^T y$ 求解参数向量 $\beta$ 。这可以通过直接求解方程或者使用矩阵运算库中的函数来完成。
得到最小二乘解： 将得到的参数向量 $\beta$ 代入线性模型，得到最小二乘拟合的结果。
评估拟合效果： 可以使用各种评估指标，如均方根误差（RMSE）、残差分析等，来评估拟合模型与实际数据之间的拟合质量。