Python 梯度下降法（二）：RMSProp Optimize

文章目录

  • Python 梯度下降法（二）：RMSProp Optimize
    • 一、数学原理
      • 1.1 介绍
      • 1.2 公式
    • 二、代码实现
      • 2.1 函数代码
      • 2.2 总代码
    • 三、代码优化
      • 3.1 存在问题
      • 3.2 收敛判断
      • 3.3 函数代码
      • 3.4 总代码
    • 四、优缺点
      • 4.1 优点
      • 4.2 缺点

Python 梯度下降法（二）：RMSProp Optimize

结合第一篇文章一起看：Python 梯度下降法（一）：Gradient Descent-CSDN博客

一、数学原理

1.1 介绍

RMSProp（Root Mean Square Propagation）是一种自适应学习率优化算法，广泛用于深度学习中的梯度下降优化。它通过调整每个参数的学习率来解决传统梯度下降法中学习率固定的问题，从而加速收敛并提高性能。

RMSProp 的核心思想是对每个参数的学习率进行自适应调整。它通过维护一个指数加权移动平均（Exponential Moving Average, EMA）的梯度平方值来调整学习率：

  • 对于梯度较大的参数，降低其学习率。
  • 对于梯度较小的参数，增加其学习率。
    这种方法可以有效缓解梯度下降中的震荡问题，尤其是在非凸优化问题中。

1.2 公式

符号说明：

θ : 需要优化的参数向量 J ( θ ) : 损失函数 g t : 在第 t 次迭代时损失函数关于 θ 的梯度， ∇ θ J ( θ t ) ρ : 衰减率，常用值为 0.9 η : 学习率，需要手动设置 ϵ : 一个及小的参数，无限趋近于零，避免不会出现零 ( 1 0 − 8 ) s t : 指数加权移动平均 \begin{array}{l} \theta&:需要优化的参数向量 \\ J(\theta)&: 损失函数 \\ g_{t}&:在第t次迭代时损失函数关于\theta的梯度，\nabla_{\theta}J(\theta_{t}) \\ \rho &: 衰减率，常用值为0.9\\ \eta&:学习率，需要手动设置 \\ \epsilon&: 一个及小的参数，无限趋近于零，避免不会出现零(10^{-8}) \\ s_{t}&:指数加权移动平均 \end{array} θJ(θ)gt​ρηϵst​​:需要优化的参数向量:损失函数:在第t次迭代时损失函数关于θ的梯度，∇θ​J(θt​):衰减率，常用值为0.9:学习率，需要手动设置:一个及小的参数，无限趋近于零，避免不会出现零(10−8):指数加权移动平均​

  1. 初始化参数为： θ 0 , s 0 = 0 \theta_{0},s_{0}=0 θ0​,s0​=0

  2. 迭代更新，每次迭代 t t t中，更新指数加权移动平均：
    s t = ρ s t − 1 + ( 1 − ρ ) g t ⊙ g t s_{t}=\rho s_{t-1}+(1-\rho)g_{t}\odot g_{t} st​=ρst−1​+(1−ρ)gt​⊙gt​ s t s_{t} st​可以理解为对梯度平方的一个平滑估计，它更关注近期的梯度信息， ρ \rho ρ控制了历史信息的衰减程度。

  3. 计算自适应学习率，公式为 η s t + ϵ \frac{\eta}{\sqrt{ s_{t}+\epsilon }} st​+ϵ ​η​，其中，分母 s t + ϵ \sqrt{ s_{t}+\epsilon} st​+ϵ ​起到了归一化梯度的作用，使得学习率可以更具梯度的尺寸进行自适应的调整。

  4. 更新参数： θ t + 1 = θ t − η s t + ϵ g t \theta_{t+1}=\theta_{t}- \frac{\eta}{\sqrt{ s_{t}+\epsilon }}g_{t} θt+1​=θt​−st​+ϵ ​η​gt​

二、代码实现

2.1 函数代码

RMSProp优化算法实现：

# 定义RMSProp优化算法
def rmsprop_optimizer(X, y, eta, num_iter=1000, epsilon=1e-5, rho=0.9):
    """
    X: 数据 x  mxn
    y: 数据 y  nx1
    eta: 学习率  
    num_iter: 迭代次数
    epsilon： 无穷小
    rho: 衰减率
    """
    m, n = X.shape 
    theta, s = np.zeros((n, 1)), np.zeros((n, 1))  # 初始参数 nx1，以及指数加权移动平均 nx1
    loss_ = []  # 存储损失率的变化，便于绘图
    for _ in range(num_iter):
        # 计算预测值
        h = np.dot(X, theta)
        # 计算误差
        error = h - y
        loss_.append(np.mean(error**2) / 2)
        # 计算梯度
        gradient = (1/m) * np.dot(X.T, error)
        s = rho * s + (1 - rho) * np.pow(gradient, 2)  # 利用广播机制来进行运算每个维度上的平滑估计
        theta = theta - np.multiply(eta / np.sqrt(s + epsilon), gradient)  # Hadamar product
    return theta, loss_

2.2 总代码

import numpy as np
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['Microsoft YaHei'] 

# 定义RMSProp优化算法
def rmsprop_optimizer(X, y, eta, num_iter=1000, epsilon=1e-5, rho=0.9):
    """
    X: 数据 x  mxn
    y: 数据 y  nx1
    eta: 学习率  
    num_iter: 迭代次数
    epsilon： 无穷小
    rho: 衰减率
    """
    m, n = X.shape 
    theta, s = np.zeros((n, 1)), np.zeros((n, 1))  # 初始参数 nx1，以及指数加权移动平均 nx1
    loss_ = []  # 存储损失率的变化，便于绘图
    for _ in range(num_iter):
        # 计算预测值
        h = np.dot(X, theta)
        # 计算误差
        error = h - y
        loss_.append(np.mean(error**2) / 2)
        # 计算梯度
        gradient = (1/m) * np.dot(X.T, error)
        s = rho * s + (1 - rho) * np.pow(gradient, 2)  # 利用广播机制来进行运算每个维度上的平滑估计
        theta = theta - np.multiply(eta / np.sqrt(s + epsilon), gradient)  # Hadamar product
    return theta, loss_

    
# 生成一些示例数据
X = 2 * np.random.rand(100, 1)
y = 4 + 3 * X + np.random.randn(100, 1)
# 添加偏置项
X_b = np.c_[np.ones((100, 1)), X]

# 设置超参数
eta = 0.1

# RMSProp优化算法
theta, loss_ = rmsprop_optimizer(X_b, y, eta)

print("最优参数 theta:")
print(theta)
plt.plot(range(len(loss_)), loss_, label="损失函数图像")
plt.title("损失函数图像")
plt.xlabel("迭代次数")
plt.ylabel("损失值")
plt.show()

1738222496_l1dhye0o4j.png1738222495967.png

可以发现，其对于损失值的下降性能也较好，损失率也较为稳定。

三、代码优化

3.1 存在问题

  • 未使用小批量数据：该代码在每次迭代时使用了全部的训练数据 X 和 y 来计算梯度，这相当于批量梯度下降的方式。在处理大规模数据集时，这种方式可能会导致计算效率低下，并且可能会陷入局部最优解。可以参考之前小批量梯度下降的代码，引入小批量数据的处理，以提高算法的效率和泛化能力。
  • 缺乏数据预处理：在实际应用中，输入数据 X 可能需要进行预处理，例如归一化或标准化，以确保不同特征具有相似的尺度，从而加快算法的收敛速度。(这里不进行解决，参考特征缩放：数据归一化-CSDN博客)
  • 缺乏收敛判断：代码只是简单地进行了固定次数的迭代，没有设置收敛条件。在实际应用中，可以添加收敛判断，例如当损失值的变化小于某个阈值时提前停止迭代，以节省计算资源。

这里引入Mini-batch Gradient Descent，以及收敛判断，减少计算资源

3.2 收敛判断

# 收敛判断，设定阈值，进行收敛判断
# 满足条件即停止，减少系统资源的使用
if len(loss_) > 1 and abs(loss_[-1] - loss_[-2]) < threshold:
	print(f"Converged at iteration {_ + 1}")
	break  # 注意，这里不能使用return

3.3 函数代码

# 定义RMSProp优化算法
def rmsprop_optimizer(X, y, eta, batch_size=32, num_iter=1000, epsilon=1e-5, rho=0.9, threshold=1e-3):
    """
    X: 数据 x  mxn，可以在传入数据之前进行数据的归一化
    y: 数据 y  nx1
    eta: 学习率  
    batch_size: 批量数据的大小
    num_iter: 迭代次数
    epsilon： 无穷小
    rho: 衰减率
    threshold: 收敛阈值
    """
    m, n = X.shape 
    theta, s = np.zeros((n, 1)), np.zeros((n, 1))  # 初始参数 nx1，以及指数加权移动平均 nx1
    loss_ = []  # 存储损失率的变化，便于绘图
    num_batchs = m // batch_size
    for _ in range(num_iter):
        # 打乱数据集
        shuffled_indices = np.random.permutation(m)
        X_shuffled = X[shuffled_indices]
        y_shuffled = y[shuffled_indices]
        loss_temp = []  # 存储每次小批量样本生成的值
        for batch in range(num_batchs):
            
            # 选取小批量样本
            start_index = batch * batch_size
            end_index = start_index + batch_size
            xi = X_shuffled[start_index:end_index]
            yi = y_shuffled[start_index:end_index]
            # 计算预测值
            h = np.dot(xi, theta)
            # 计算误差
            error = h - yi
            loss_temp.append(np.mean(error**2) / 2)
            # 计算梯度
            gradient = (1/m) * np.dot(xi.T, error)
            s = rho * s + (1 - rho) * np.pow(gradient, 2)  # 利用广播机制来进行运算每个维度上的平滑估计
            theta = theta - np.multiply(eta / np.sqrt(s + epsilon), gradient)  # Hadamar product
        loss_.append(np.mean(loss_temp))
        # 收敛判断
        if len(loss_) > 1 and abs(loss_[-1] - loss_[-2]) < threshold:
            print(f"Converged at iteration {_ + 1}")
            break
            
    return theta, loss_

3.4 总代码

import numpy as np
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['Microsoft YaHei'] 

# 定义RMSProp优化算法
def rmsprop_optimizer(X, y, eta, batch_size=32, num_iter=1000, epsilon=1e-5, rho=0.9, threshold=1e-3):
    """
    X: 数据 x  mxn，可以在传入数据之前进行数据的归一化
    y: 数据 y  nx1
    eta: 学习率  
    batch_size: 批量数据的大小
    num_iter: 迭代次数
    epsilon： 无穷小
    rho: 衰减率
    threshold: 收敛阈值
    """
    m, n = X.shape 
    theta, s = np.zeros((n, 1)), np.zeros((n, 1))  # 初始参数 nx1，以及指数加权移动平均 nx1
    loss_ = []  # 存储损失率的变化，便于绘图
    num_batchs = m // batch_size
    for _ in range(num_iter):
        # 打乱数据集
        shuffled_indices = np.random.permutation(m)
        X_shuffled = X[shuffled_indices]
        y_shuffled = y[shuffled_indices]
        loss_temp = []  # 存储每次小批量样本生成的值
        for batch in range(num_batchs):
            
            # 选取小批量样本
            start_index = batch * batch_size
            end_index = start_index + batch_size
            xi = X_shuffled[start_index:end_index]
            yi = y_shuffled[start_index:end_index]
            # 计算预测值
            h = np.dot(xi, theta)
            # 计算误差
            error = h - yi
            loss_temp.append(np.mean(error**2) / 2)
            # 计算梯度
            gradient = (1/m) * np.dot(xi.T, error)
            s = rho * s + (1 - rho) * np.pow(gradient, 2)  # 利用广播机制来进行运算每个维度上的平滑估计
            theta = theta - np.multiply(eta / np.sqrt(s + epsilon), gradient)  # Hadamar product
        loss_.append(np.mean(loss_temp))  # 使用平均值作为参考
        # 收敛判断
        if len(loss_) > 1 and abs(loss_[-1] - loss_[-2]) < threshold:
            print(f"Converged at iteration {_ + 1}")
            break
            
    return theta, loss_

    
# 生成一些示例数据
X = 2 * np.random.rand(100, 1)
y = 4 + 3 * X + np.random.randn(100, 1)
# 添加偏置项
X_b = np.c_[np.ones((100, 1)), X]

# 设置超参数
eta = 0.1

# RMSProp优化算法
theta, loss_ = rmsprop_optimizer(X_b, y, eta)

print("最优参数 theta:")
print(theta)
plt.plot(range(len(loss_)), loss_, label="损失函数图像")
plt.title("损失函数图像")
plt.xlabel("迭代次数")
plt.ylabel("损失值")
plt.show()

1738223819_x4hrij0zgr.png1738223818170.png

四、优缺点

4.1 优点

  • 自适应学习率：RMSProp 能够根据参数的梯度变化情况自适应地调整学习率。对于梯度较大的参数，学习率会自动减小；对于梯度较小的参数，学习率会相对增大。这使得算法在处理不同尺度的梯度时更加稳定，有助于加快收敛速度。
  • 缓解 Adagrad 学习率衰减过快问题：与 Adagrad 算法不同，RMSProp 使用指数加权移动平均来计算梯度平方的累积值，避免了 Adagrad 中学习率单调递减且后期学习率过小的问题，使得算法在训练后期仍然能够继续更新参数。

4.2 缺点

  • 对超参数敏感：RMSProp 的性能依赖于超参数 η \eta η和 ρ \rho ρ的选择。如果超参数设置不当，可能会导致算法收敛速度慢或者无法收敛到最优解。
  • 可能陷入局部最优：和其他基于梯度的优化算法一样，RMSProp 仍然有可能陷入局部最优解，尤其是在损失函数具有复杂的地形时。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/962107.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

excel如何查找一个表的数据在另外一个表是否存在

excel如何查找一个表的数据在另外一个表是否存在

比如“Sheet1”有“张三”、“李四”“王五”三个人的数据&#xff0c;“Sheet2”只有“张三”、“李四”的数据。我们通过修改“Sheet1”的“民族”或者其他空的列&#xff0c;修改为“Sheet2”的某一列。这样修改后筛选这个修改的列为空的或者为出错的&#xff0c;就能找到两…
阅读更多...
2024年数据记录

2024年数据记录

笔者注册时间超过98.06%的用户 CSDN 原力是衡量一个用户在 CSDN 的贡献和影响力的系统&#xff0c;笔者原力值超过99.99%的用户 其他年度数据
阅读更多...
7层还是4层？网络模型又为什么要分层？

7层还是4层？网络模型又为什么要分层？

~犬&#x1f4f0;余~ “我欲贱而贵&#xff0c;愚而智&#xff0c;贫而富&#xff0c;可乎&#xff1f; 曰&#xff1a;其唯学乎” 一、为什么要分层 \quad 网络通信的复杂性促使我们需要一种分层的方法来理解和管理网络。就像建筑一样&#xff0c;我们不会把所有功能都混在一起…
阅读更多...
JxBrowser 8.2.2 版本发布啦！

JxBrowser 8.2.2 版本发布啦！

JxBrowser 8.2.2 版本发布啦&#xff01; • 已更新 #Chromium 至更新版本 • 实施了多项质量改进 &#x1f517; 点击此处了解更多详情。 &#x1f193; 获取 30 天免费试用。
阅读更多...
论文阅读(十五)：DNA甲基化水平分析的潜变量模型

论文阅读(十五)：DNA甲基化水平分析的潜变量模型

1.论文链接&#xff1a;Latent Variable Models for Analyzing DNA Methylation 摘要&#xff1a; 脱氧核糖核酸&#xff08;DNA&#xff09;甲基化与细胞分化密切相关。例如&#xff0c;已经观察到肿瘤细胞中的DNA甲基化编码关于肿瘤的表型信息。因此&#xff0c;通过研究DNA…
阅读更多...
【综合决策模型】考虑生命周期评估LCA 与多目标优化MOO的综合决策模型MOOLCA

【综合决策模型】考虑生命周期评估LCA 与多目标优化MOO的综合决策模型MOOLCA

目录 1. 概念和目的1.1 生命周期评估 (LCA, Life Cycle Assessment)1.2 多目标优化 (MOO, Multi-Objective Optimization)1.3 MOOLCA 的目标2. MOOLCA 的组成2.1 生命周期评估模块2.2 优化模块2.3 决策支持模块参考Life Cycle Assessment with Multi-Objective Optimization (M…
阅读更多...
系统思考—蝴蝶效应

系统思考—蝴蝶效应

“个体行为的微小差异&#xff0c;可能在系统中引发巨大且不可预测的结果。” — 诺贝尔经济学得主托马斯谢林 我们常说&#xff0c;小变动带来大影响&#xff0c;这种现象&#xff0c;在复杂系统理论中被称为“蝴蝶效应”&#xff1a;即使极小的变化&#xff0c;也能在动态系…
阅读更多...
设计模式Python版 适配器模式

设计模式Python版 适配器模式

文章目录 前言一、适配器模式二、适配器模式实现三、适配器模式在Django中的应用 前言 GOF设计模式分三大类&#xff1a; 创建型模式&#xff1a;关注对象的创建过程&#xff0c;包括单例模式、简单工厂模式、工厂方法模式、抽象工厂模式、原型模式和建造者模式。结构型模式&…
阅读更多...
科研绘图系列：R语言绘制散点图（scatter plot）

科研绘图系列：R语言绘制散点图（scatter plot）

禁止商业或二改转载，仅供自学使用，侵权必究，如需截取部分内容请后台联系作者! 文章目录 介绍加载R包数据下载导入数据画图保存图片系统信息参考介绍 科研绘图系列：R语言绘制散点图（scatter plot） 加载R包 library(tidyverse) library(ggthemes) library(ggpubr) libr…
阅读更多...
基于单片机的超声波液位检测系统(论文+源码)

基于单片机的超声波液位检测系统(论文+源码)

1总体设计 本课题为基于单片机的超声波液位检测系统的设计&#xff0c;系统的结构框图如图2.1所示。其中包括了按键模块&#xff0c;温度检测模块&#xff0c;超声波液位检测模块&#xff0c;显示模块&#xff0c;蜂鸣器等器件设备。其中&#xff0c;采用STC89C52单片机作为主控…
阅读更多...
P1044 [NOIP2003 普及组] 栈 C语言

P1044 [NOIP2003 普及组] 栈 C语言

P1044 [NOIP2003 普及组] 栈 - 洛谷 | 计算机科学教育新生态 题目背景 栈是计算机中经典的数据结构&#xff0c;简单的说&#xff0c;栈就是限制在一端进行插入删除操作的线性表。 栈有两种最重要的操作&#xff0c;即 pop&#xff08;从栈顶弹出一个元素&#xff09;和 pus…
阅读更多...
基础项目实战——学生管理系统（c++）

基础项目实战——学生管理系统（c++）

目录 前言一、功能菜单界面二、类与结构体的实现三、录入学生信息四、删除学生信息五、更改学生信息六、查找学生信息七、统计学生人数八、保存学生信息九、读取学生信息十、打印所有学生信息十一、退出系统十二、文件拆分结语 前言 这一期我们来一起学习我们在大学做过的课程…
阅读更多...
OpenEuler学习笔记（十七）：OpenEuler搭建Redis高可用生产环境

OpenEuler学习笔记（十七）：OpenEuler搭建Redis高可用生产环境

在OpenEuler上搭建Redis高可用生产环境&#xff0c;通常可以采用Redis Sentinel或Redis Cluster两种方式&#xff0c;以下分别介绍两种方式的搭建步骤&#xff1a; 基于Redis Sentinel的高可用环境搭建 安装Redis 配置软件源&#xff1a;可以使用OpenEuler的默认软件源&#…
阅读更多...
Python的那些事第六篇：从定义到应用，Python函数的奥秘

Python的那些事第六篇：从定义到应用，Python函数的奥秘

新月人物传记&#xff1a;人物传记之新月篇-CSDN博客 目录 一、函数的定义与调用 二、函数的参数 三、返回值&#xff08;return语句&#xff09; 四、作用域 五、匿名函数&#xff08;lambda表达式&#xff09; 六、总结 Python函数的奥秘&#xff1a;从定义到应用 编程…
阅读更多...
vue3的路由配置

vue3的路由配置

先找到Layout布局文件&#xff0c;从中找到左侧边栏&#xff0c;找到下述代码 <SidebarItem v-for"route in noHiddenRoutes" :key"route.path" :item"route" :base-path"route.path" />/** *菜单项 <SidebarItem>: *使用…
阅读更多...
VLLM性能调优

VLLM性能调优

1. 抢占 显存不够的时候&#xff0c;某些request会被抢占。其KV cache被清除&#xff0c;腾退给其他request&#xff0c;下次调度到它&#xff0c;重新计算KV cache。 报这条消息&#xff0c;说明已被抢占&#xff1a; WARNING 05-09 00:49:33 scheduler.py:1057 Sequence gr…
阅读更多...
Blazor-@bind

Blazor-@bind

数据绑定 带有 value属性的标记都可以使用bind 绑定&#xff0c;<div>、<span>等非输入标记&#xff0c;无法使用bind 指令的&#xff0c;默认绑定了 onchange 事件&#xff0c;onchange 事件是指在输入框中输入内容之后&#xff0c;当失去焦点时执行。 page &qu…
阅读更多...
H264原始码流格式分析

H264原始码流格式分析

1.H264码流结构组成 H.264裸码流&#xff08;Raw Bitstream&#xff09;数据主要由一系列的NALU&#xff08;网络抽象层单元&#xff09;组成。每个NALU包含一个NAL头和一个RBSP&#xff08;原始字节序列载荷&#xff09;。 1.1 H.264码流层次 H.264码流的结构可以分为两个层…
阅读更多...
Qt中QVariant的使用

Qt中QVariant的使用

1.使用QVariant实现不同类型数据的相加 方法&#xff1a;通过type函数返回数值的类型&#xff0c;然后通过setValue来构造一个QVariant类型的返回值。 函数&#xff1a; QVariant mainPage::dataPlus(QVariant a, QVariant b) {QVariant ret;if ((a.type() QVariant::Int) &a…
阅读更多...
C++，STL 简介：历史、组成、优势

C++，STL 简介：历史、组成、优势

文章目录 引言一、STL 的历史STL 的核心组成三、STL 的核心优势四、结语进一步学习资源&#xff1a; 引言 C 是一门强大且灵活的编程语言&#xff0c;但其真正的魅力之一在于其标准库——尤其是标准模板库&#xff08;Standard Template Library, STL&#xff09;。STL 提供了…
阅读更多...
最新文章

Copyright @ 2022~2023