梯度下降方法

2.1、三种梯度下降不同

梯度下降分三类：批量梯度下降BGD（Batch Gradient Descent）、小批量梯度下降MBGD（Mini-Batch Gradient Descent）、随机梯度下降SGD（Stochastic Gradient Descent）。

三种梯度下降有什么不同呢？我们从梯度下降步骤开始讲起，梯度下降步骤分一下四步：

• 1、随机赋值，Random 随机数生成 $\theta$，随机一组数值 $w_0、w_1\dots \dots w_n$

• 2、求梯度 g ，梯度代表曲线某点上的切线的斜率，沿着切线往下就相当于沿着坡度最陡峭的方向下降

• 3、if g < 0, $\theta$ 变大，if g > 0, $\theta$ 变小

• 4、判断是否收敛 convergence，如果收敛跳出迭代，如果没有达到收敛，回第 2 步再次执行2~4步

  收敛的判断标准是：随着迭代进行损失函数Loss，变化非常微小甚至不再改变，即认为达到收敛

三种梯度下降不同，体现在第二步中：

• BGD是指在每次迭代使用所有样本来进行梯度的更新

• MBGD是指在每次迭代使用一部分样本（所有样本500个，使用其中一部分样本）来进行梯度的更新

• SGD是指每次迭代随机选择一个样本来进行梯度更新

2.2、线性回归梯度更新公式

回顾上一讲公式！

最小二乘法公式如下：

$J(\theta )=\frac{1}{2}\sum _{i=1}^n(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$

矩阵写法：

$J(\theta )=\frac{1}{2}(X\theta -y{)}^T(X\theta -y)$

接着我们来讲解如何求解上面梯度下降的第 2 步，即我们要推导出损失函数的导函数来。

• ${\theta }_j^{n+1}={\theta }_j^n-\eta \ast \frac{\partial J(\theta )}{\partial {\theta }_j}$ 其中 j 表示第 j 个系数

• $\frac{\partial J(\theta )}{\partial {\theta }_j}=\frac{\partial }{\partial {\theta }_j}\frac{1}{2}(h_{\theta }(x)-y{)}^2$

$=\frac{1}{2}\ast 2(h_{\theta }(x)-y)\frac{\partial }{\partial {\theta }_j}(h_{\theta }(x)-y)$(1)

$=(h_{\theta }(x)-y)\frac{\partial }{\partial {\theta }_j}(\sum _{i=0}^n{\theta }_i{x}_i-y)$ (2)

$=(h_{\theta }(x)-y)x_j$ (3)

  $x^2$的导数就是 2x，根据链式求导法则，我们可以推出上面第（1）步。然后是多元线性回归，所以 $h_{\theta }(x)$ 就 是 ${\theta }^{T}x$ 即是$w_0{x}_0+w_1{x}_1+\dots \dots +w_n{x}_n$ 即$\sum _{i=0}^n{\theta }_i{x}_i$。到这里我们是对 ${\theta }_j$ 来求偏导，那么和 $w_j$ 没有关系的可以忽略不计，所以只剩下 $x_j$。

  我们可以得到结论就是 ${\theta }_j$ 对应的梯度与预测值 $\hat{y}$ 和真实值 y 有关，这里 $\hat{y}$ 和 y 是列向量（即多个数据），同时还与 ${\theta }_j$ 对应的特征维度 $x_j$ 有关，这里 $x_j$ 是原始数据集矩阵的第 j 列。如果我们分别去对每个维度 ${\theta }_0、{\theta }_1\dots \dots {\theta }_n$ 求偏导，即可得到所有维度对应的梯度值。

• $g_0=(h_{\theta }(x)-y)x_0$
• $g_1=(h_{\theta }(x)-y)x_1$
• ……
• $g_j=(h_{\theta }(x)-y)x_j$

总结：

${\theta }_j^{n+1}={\theta }_j^n-\eta \ast (h_{\theta }(x)-y)x_j$

2.3、批量梯度下降BGD

  批量梯度下降法是最原始的形式，它是指在每次迭代使用所有样本来进行梯度的更新。每次迭代参数更新公式如下：

${\theta }_j^{n+1}={\theta }_j^n-\eta \ast \frac{1}{n}\sum _{i=1}^n(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$

去掉 $\frac{1}{n}$ 也可以，因为它是一个常量，可以和 $\eta$ 合并

${\theta }_j^{n+1}={\theta }_j^n-\eta \ast \sum _{i=1}^n(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$

矩阵写法：

${\theta }^{n+1}={\theta }^n-\eta \ast X^T(X\theta -y)$

其中 𝑖 = 1, 2, …, n 表示样本数， 𝑗 = 0, 1……表示特征数，这里我们使用了偏置项，即解决$x_0^{(i)}=1$。

注意这里更新时存在一个求和函数，即为对所有样本进行计算处理！

优点：
  （1）一次迭代是对所有样本进行计算，此时利用矩阵进行操作，实现了并行。
  （2）由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。当目标函数为凸函数时，BGD一定能够得到全局最优。
缺点：
  （1）当样本数目 n 很大时，每迭代一步都需要对所有样本计算，训练过程会很慢。

从迭代的次数上来看，BGD迭代的次数相对较少。其迭代的收敛曲线示意图可以表示如下：

2.4、随机梯度下降SGD

随机梯度下降法不同于批量梯度下降，随机梯度下降是每次迭代使用一个样本来对参数进行更新。使得训练速度加快。每次迭代参数更新公式如下：

${\theta }_j^{n+1}={\theta }_j^n-\eta \ast (h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$

${\theta }^{n+1}={\theta }^n-\eta \ast X_i^T(X_i\theta -y_i)$

批量梯度下降算法每次都会使用全部训练样本，因此这些计算是冗余的，因为每次都使用完全相同的样本集。而随机梯度下降算法每次只随机选择一个样本来更新模型参数，因此每次的学习是非常快速的。

优点：
  （1）由于不是在全部训练数据上的更新计算，而是在每轮迭代中，随机选择一条数据进行更新计算，这样每一轮参数的更新速度大大加快。
  缺点：
  （1）准确度下降。由于即使在目标函数为强凸函数的情况下，SGD仍旧无法做到线性收敛。
  （2）可能会收敛到局部最优，由于单个样本并不能代表全体样本的趋势。

解释一下为什么SGD收敛速度比BGD要快：

• 批量梯度下降（BGD）：在每次迭代时，BGD 计算整个训练集的梯度，并更新模型参数。因此，每次迭代都需要处理整个数据集，计算量较大，收敛速度较慢。
• 随机梯度下降（SGD）：在每次迭代时，SGD 从训练集中随机选择一个样本，计算该样本的梯度，并更新模型参数。因此，每次迭代的计算量较小，收敛速度相对较快。

SGD 相比 BGD 收敛速度快的原因主要有以下几点：

1. 计算效率：SGD 每次迭代只需要计算一个样本的梯度，计算效率更高。相反，BGD 需要在每次迭代中计算整个数据集的梯度，计算成本较高。
2. 随机性：SGD 的随机性有助于跳出局部最优解。由于每次迭代只使用一个样本，SGD 的梯度估计可能并不准确，但这种不准确性有时候可以帮助算法跳出局部最优解，从而更快地找到全局最优解。
3. 可在线学习：SGD 可以很容易地适应在线学习场景，即在新数据到来时，可以直接对模型进行更新，而无需重新处理整个数据集。这对于处理大规模数据集或需要实时更新模型的场景非常有用。

然而，SGD 的收敛过程相对不稳定，可能会在最优解附近波动。为了平衡收敛速度和稳定性，我们可以使用小批量梯度下降（Mini-batch Gradient Descent），它结合了 BGD 和 SGD 的优点，每次迭代使用一个小批量的样本来计算梯度并更新模型参数。

从迭代的次数上来看，SGD迭代的次数较多，在解空间的搜索过程就会盲目一些。其迭代的收敛曲线示意图可以表示如下：

2.5、小批量梯度下降MBGD

小批量梯度下降，是对批量梯度下降以及随机梯度下降的一个折中办法。其思想是：每次迭代使用总样本中的一部分（batch_size）样本来对参数进行更新。这里我们假设 batch_size = 32，样本数 n = 1000 。实现了更新速度与更新次数之间的平衡。每次迭代参数更新公式如下：

${\theta }_j^{n+1}={\theta }_j^n-\eta \ast \frac{1}{batch\_size}\sum _{i=1}^{batch\_size}(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$

相对于随机梯度下降算法，小批量梯度下降算法降低了收敛波动性， 即降低了参数更新的方差，使得更新更加稳定。相对于全量梯度下降，其提高了每次学习的速度。并且其不用担心内存瓶颈从而可以利用矩阵运算进行高效计算。

一般情况下，小批量梯度下降是梯度下降的推荐变体，特别是在深度学习中。每次随机选择2的幂数个样本来进行学习，例如：8、16、32、64、128、256。因为计算机的结构就是二进制的。但是也要根据具体问题而选择，实践中可以进行多次试验， 选择一个更新速度与更次次数都较适合的样本数。

MBGD梯度下降迭代的收敛曲线更加温柔一些：

2.6、梯度下降优化

虽然梯度下降算法效果很好，并且广泛使用，但是不管用上面三种哪一种，都存在一些挑战与问题，我们可以从以下几点进行优化:

1. 选择一个合理的学习速率很难。如果学习速率过小，则会导致收敛速度很慢。如果学习速率过大，那么其会阻碍收敛，即在极值点附近会振荡。
   

2. 学习速率调整，试图在每次更新过程中， 改变学习速率。从经验上看，**学习率在一开始要保持大些来保证收敛速度，在收敛到最优点附近时要小些以避免来回震荡。**比较简单的学习率调整可以通过 **学习率衰减（Learning Rate Decay）**的方式来实现。假设初始化学习率为 ${\eta }_0$，在第 t 次迭代时的学习率 ${\eta }_t$。常用的衰减方式为可以设置为 按迭代次数 进行衰减，迭代次数越大，学习率越小！
   
   

3. 模型所有的参数每次更新都是使用相同的学习速率。如果数据特征是稀疏的，或者每个特征有着不同的统计特征与空间，那么便不能在每次更新中每个参数使用相同的学习速率，那些很少出现的特征应该使用一个相对较大的学习速率。另一种高效的方式，数据预处理，归一化！
   

4. 对于非凸目标函数，容易陷入那些次优的局部极值点中，如在神经网路中。那么如何避免呢。
   

   简单的问题，一般使用随机梯度下降即可解决。在深度学习里，对梯度下降进行了很多改进，比如：自适应梯度下降。在深度学习章节，我们会具体介绍。

5. 轮次和批次

   轮次：epoch，轮次顾名思义是把我们已有的训练集数据学习多少轮，迭代多少次。

   批次：batch，批次这里指的的我们已有的训练集数据比较多的时候，一轮要学习太多数据， 那就把一轮次要学习的数据分成多个批次，一批一批数据的学习。

2.6、梯度下降优化

虽然梯度下降算法效果很好，并且广泛使用，但是不管用上面三种哪一种，都存在一些挑战与问题，我们可以从以下几点进行优化:

1. 选择一个合理的学习速率很难。如果学习速率过小，则会导致收敛速度很慢。如果学习速率过大，那么其会阻碍收敛，即在极值点附近会振荡。

导入

import numpy as np
import matplotlib.pyplot as plt

记载数据

 # 记载数据
X = np.random.rand(100, 1)
w, b = np.random.randint(1, 10, size=2)
y = w * X + b + np.random.randn(100, 1) * 0.1

初始化系统：

# 包括斜率和截距
theta = np.random.randn(2, 1)

# 梯度下降，轮次
epochs = 2000

# 学习率
learning_rate = 0.01
# 偏置项 截距b 系数1
X_ = np.c_[X, np.ones((100, 1))]

实现梯度下降

for epoch in range(epochs):
    g = X_.T.dot(X_.dot(theta) - y)
    theta = theta - learning_rate * g
print("真实的斜率和截距", w, b)
print("梯度计算所得的是", theta)
plt.scatter(X, y, color='r')
x_ = np.linspace(0, 1, 100)
y_ = x_ * theta[0, 0] + theta[1, 0]
plt.plot(x_, y_, color='green')

使用正规方程进行求解

from sklearn.linear_model import LinearRegression
model = LinearRegression(fit_intercept=False)
model.fit(X_, y)
print('线性回归算法集合的系数是', model.coef_)