【机器学习300问】82、RMSprop梯度下降优化算法的原理是什么？

RMSprop，全称Root Mean Square Propagation，中文名称“均方根传播”算法。让我来举个例子给大家介绍一下它的原理！

一、通过举例来感性认识

建议你第一次看下面的例子时忽略小括号里的内容，在看完本文当你对RMSprop有了一定理解时再回过头来读一次这个小例子，这次带上小括号的内容一起读，相信你会有更深刻的体会。

想象一下你正在健身房锻炼，目标是让肌肉（我们的模型参数）变得更加强壮有效（准确预测或分类）。RMSprop就像是你的私人健身教练，它特别擅长调整你的训练计划（学习率），确保你在每次举重（梯度下降）时既不会因为负重太轻而效果甚微，也不会因为负重太重而受伤（过度调整导致震荡不收敛）。

具体来说，当你做重量训练时，教练RMSprop会观察你每一次举重的疲劳程度（历史梯度平方的平均值），并据此动态调整你下一次应该举起的重量（学习率）。如果某次你举得很吃力（梯度较大），意味着可能需要稍微减轻重量（减小学习率），让你的肌肉可以恢复并逐步增强；反之，如果感觉轻松（梯度较小），则可以适当增加重量（增大学习率），以加速进步。

二、通过定义来理性认识

RMSprop是一种自适应学习率方法，用于优化梯度下降算法。主要针对梯度下降法在非凸优化问题中学习率难以选择的问题进行了改进。RMSprop的核心思想是对每个参数使用不同的学习率，这些学习率是根据参数最近梯度的大小自适应调整的。它通过引入一个衰减系数来控制历史梯度的影响，使得学习率更加适应不同参数的情况。RMSprop算法的定义如下：

假设有一个待最小化的目标函数 $J(\theta)$ ，其中 $\theta$ 是模型参数向量，RMSprop对每个参数 $\theta_i$ 进行更新，更新规则为：

计算目标函数 $J$ 关于 $\theta$ 的梯度： $g_t = \nabla J(\theta_t)$
计算梯度平方的指数移动平均值： $E[g^2]_t = \beta E[g^2]_{t-1} + (1-\beta)g_t^2$
更新参数： $\theta_{t+1} = \theta_t - \frac{\eta}{\sqrt{E[g^2]_t + \epsilon}} \cdot g_t$

符号	解释
$g_t$	在时间步 $t$ 处梯度 $\nabla J(\theta)$ 的估计
$E[g^2]_t$	梯度平方的指数加权移动平均，用于调整每个参数的学习率。类似于EWMA，它对过去梯度的平方给予一定权重的平均
$\beta$	梯度平方的移动平均的衰减率，它是人为设定的一个较接近1的超参数，常用的值如 0.9
$\eta$	全局学习率
$\epsilon$	一个很小的常数（例如 $10^{-8}$ ），用于数值稳定性，防止除以零

三、RMSprop梯度下降优化算法的优点

RMSProp它的提出是为了解决Adagrad算法在长期训练过程中可能遇到的学习率逐渐减小的问题。想象一下，如果你在学习新技能时，每次犯错后都以倍增的努力去纠正，那么很快你就会感到疲惫并放弃。Adagrad就是这样，它累积了历史上所有的梯度信息，导致后期学习率变得非常小，几乎无法继续学习。而RMSProp则像是给你一个“遗忘”的功能，让你不那么严格地记住每一个错误，而是让旧的错误逐渐淡化，这样你就可以保持一个较为稳定的学习节奏。