本节及后续章节将介绍机器学习中的几种经典回归算法，所选方法都在Sklearn库中聚类模块有具体实现。本节为上篇，将介绍基础的线性回归方法，包括线性回归、逻辑回归、多项式回归和岭回归等。

2.1 回归分析概述

回归（Regression）分析是机器学习领域中最古老、最基础，同时也是最广泛应用的问题之一，应用十分广泛。

简而言之，回归分析旨在建立一个模型，使用这个模型可以用一组特征（自变量）来预测一个连续的结果（因变量）。举一个容易理解的例子，我们可以使用房间的面积、楼层、位置、周边配套等特征来预测该商品房的房价高低，在这个例子中，房价是因变量，且是连续变化的，可以在一定非负区间内取任何实数值，而影响房价的各个因素，成为自变量，自变量可以是各种类型的值，但为了回归分析方便，通常将自变量也转换为数值类型。

2.1.1 回归与分类

回归问题是预测一个连续值的输出（因变量）基于一个或多个输入（自变量或特征）的机器学习任务。换句话说，回归模型尝试找到自变量和因变量之间的内在关系。

回归和分类是两类典型的监督学习问题，两者的主要区别在于输出类型和评价指标不同，如下：

• 输出类型：回归模型通常用来预测连续值（如价格、温度等），分类模型用来预测离散标签（如0/1）。
• 评估指标：回归通常使用均方误差（MSE）、R²分数等作为评估指标，而分类则使用准确率、F1分数等。

2.1.2 常见的回归方法

在此主要介绍Sklearn中实现的几类典型的回归方法，

• 线性回归：线性回归是回归问题中最简单也最常用的一种算法。它的基本思想是通过找到最佳拟合直线来模拟因变量和自变量之间的关系。
• 多项式回归：与线性回归尝试使用直线拟合数据不同，多项式回归使用多项式方程进行拟合。
• 支持向量回归：它是支持向量机（SVM）的回归版本，用于解决回归问题。它试图找到一个超平面，以便在给定容忍度内最大程度地减小预测和实际值之间的误差。
• 决策树回归：它是一种非参数的、基于树结构的回归方法。它通过将特征空间划分为一组简单的区域，并在每个区域内进行预测。

回归算法全解析！一文读懂机器学习中的回归模型-腾讯云开发者社区-腾讯云 (tencent.com)

2.2 线性回归

的、

2.2.1 数学模型

经典的线性回归数学模型可用下式描述：

其中Y是因变量，X是自变量，a是截距，b是斜率，ε是误差项。这个模型的关键在于找到最适合数据的a和b值，使得模型能够准确预测因变量的值。

线性回归模型的有效性建立在以下关键假设之上：

• 线性关系：因变量与自变量间存在线性关系。
• 独立性：观测值之间应相互独立。
• 无多重共线性：模型中的任何一个自变量都不应该是其他自变量的精确线性组合。
• 同方差性：对于所有的观测值，误差项的方差应相等。
• 误差项的正态分布：误差项应呈正态分布。

上述假设确保了线性回归模型能够提供可靠的预测和推断。

机器学习——线性回归_机器学习线性回归-CSDN博客