目录
3-1线性回归
3-2最小二乘解
3-3多元线性回归
3-4广义线性模型
3-5对率回归
3-6对率回归求解
3-7线性判别分析
3-8LDA的多类推广
3-9多分类学习基本思路
3-10类别不平衡
3-1线性回归
线性模型为什么重要？
人类在考虑问题时，通常很难直接思考非线性的问题
线性模型：试图学得一个通过属性的线性组合来进行预测的函数
优点：简单，基本，可理解性好
线性回归
“线性回归”试图学得一个线性模型以尽可能地预测实值输出标记。
均方误差有非常好的几何意义，它对应了常用的欧几里得距离或简称“欧式距离”。基于均方误差最小化来进行模型求解的方法为“最小二乘法”。在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小。
3-2最小二乘解
求解w和b使E（w，b）最小化的过程，称为线性回归模型的最小二乘“参数估计”
偏导的物理意义表示的是变化率（理解为什么令导数为0）
3-3多元线性回归
我们把包括两个或两个以上自变量的回归称为多元线性回归。
同样令其为零可得最优解得闭式解，但由于涉及逆矩阵的计算，比单变量情形要复杂一些，需要做简单的讨论。
若存在逆矩阵，直接求解
若不存在，加上不同的归纳偏好，即引入正则化项
3-4广义线性模型
线性模型虽然简单，却有着丰富的变化
广义线性模型，线性模型经过操作来逼近y，其中函数g（）被称为“联系函数”
3-5对率回归
考虑“二分类任务”，而线性回归模型产生的预测值是实值，于是我们需要将实值转换成0/1值。
最理想的是“单位阶跃函数”，但性质不好，我们需要找到替代函数，“对数几率函数”，简称
“对率函数”。
“对数几率回归”虽然名字是回归，但它实际却是一种分类学习方法
3-6对率回归求解
求解思路
3-7线性判别分析
如何用线性模型直接做分类？线性判别分析简称LDA
同类尽可能近，异类尽可能远。
将样例投影到一条直线，可看作降维技术。
LDA的目标（最大化广义瑞丽商）
求解过程
3-8LDA的多类推广
LDA推广到多类
3-9多分类学习基本思路
现实中常遇到多分类学习任务。有些二分类学习方法可直接推广到多分类。但在更多情形下，我们是基于一些基本策略，利用二分类学习器来解决多分类问题。
多分类学习的基本思路是“拆分法”。最典型的拆分策略有三种：“一对一”（简称“OvO”），“一对其余”（简称OvR），“多对多(简称MvM)"
3-10类别不平衡
前面介绍的分类学习方法都有一个共同的假设，即不同类别的训练样本数目相当。但若不同类别的训练样例差距过大，则会对学习过程造成很大的影响。
也不是所有的类别不平衡都要处理，只有当丢掉的小类价值很高时才进行处理。（eg：信用卡检测）
过采样：增加小类的采样，在中间插值
欠采样：减少大类的采样，丢弃部分数据
阈值移动：修改阈值
