PPO算法基础（一）

PPO近端策略优化算法

  我们今天还是主要来理解PPO算法的数学原理。PPO是一种策略梯度方法，简单的策略梯度对每个样本（或者一组样本）进行一次梯度更新，对单个样本执行多个梯度步骤会导致一些问题，因为梯度偏差太大，从而产生错误的策略。PPO允许我们在每个样本中进行多次梯度更新，方法是尽量使策略与用于采样的策略保持一致（PG算法本身都是要on-policy，PPO可以on也可以off），如果更新后的策略与用于采样数据的策略不接近，则通过削减梯度流来实现。

  PPO损失的更新方式是求解这个式子，也就是最大化我们的目标函数

在这里插入图片描述

  我们需要用优势函数来化简这个式子

在这里插入图片描述

  可以发现我们的目标函数就可以等于下面的式子

在这里插入图片描述

  我们定义一个权重系数d

在这里插入图片描述

  再化简一下，将优化问题转换为求解分布问题

在这里插入图片描述

  再化简一下，将优化问题转换为求解分布问题

在这里插入图片描述

  通过重要性采样，将式子转换一下

在这里插入图片描述

  上面的那个ratio非常重要，定义

在这里插入图片描述

  通过clip裁剪限制策略π和π-old的差异

在这里插入图片描述

  除了策略损失，还有值函数损失，我们也通过裁剪值函数进行更新 ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/30a58b034beb4cf2a746a75b6b4cc196.png) 得到的损失函数为

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/942079.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

LabVIEW软件开发的未来趋势

LabVIEW软件开发的未来趋势

LabVIEW软件开发的未来趋势可以从以下几个方面来分析： ​ 1. 与AI和机器学习的深度结合 趋势：LabVIEW正在向集成AI和机器学习方向发展，尤其是在数据处理、预测性维护和自动化控制领域。 原因：AI技术的普及使得实验和工业场景中的…
阅读更多...
H3C MPLS跨域optionB

H3C MPLS跨域optionB

实验拓扑 实验需求 如图，VPN1 和 VPN2 分别通过运营商 MPLS VPN 连接各自分支机构按照图示配置 IP 地址，VPN1 和 VPN2 连接同一个 PE 设备的私网 IP 网段存在地址复用，使用多 VRF 技术来防止 IP 冲突AS 100 和 AS 200 内部的公共网络中各自运行 OSPF 使 AS 内各设备的 Loo…
阅读更多...
【数据结构练习题】链表与LinkedList

【数据结构练习题】链表与LinkedList

顺序表与链表LinkedList 选择题链表面试题1. 删除链表中等于给定值 val 的所有节点。2. 反转一个单链表。3. 给定一个带有头结点 head 的非空单链表，返回链表的中间结点。如果有两个中间结点，则返回第二个中间结点。4. 输入一个链表，输出该链…
阅读更多...
细说STM32F407单片机轮询方式读写SPI FLASH W25Q16BV

细说STM32F407单片机轮询方式读写SPI FLASH W25Q16BV

目录 一、工程配置 1、时钟、DEBUG 2、GPIO 3、SPI2 4、USART6 5、NVIC 二、软件设计 1、FALSH （1）w25flash.h （2） w25flash.c 1）W25Q16基本操作指令 2）计算地址的辅助功能函数 3）器…
阅读更多...
框架程序设计-简答以及论述

框架程序设计-简答以及论述

目录 maven的pom作用： Pointcut("execution(*com.example.dome.*.*(……))") 缓存的作用，redis配置过程 Redis配置过程： SpringBoot缓存配置过程： AOP的五种增强注解： 论述题：包结构作用、…
阅读更多...
如何在谷歌浏览器中启用语音搜索

如何在谷歌浏览器中启用语音搜索

想象一下，你正在拥挤的地铁上，双手都拿着沉重的购物袋，突然你想搜索附近的咖啡馆。此时如果你能通过语音而不是打字来进行搜索，那将多么的便利！在谷歌浏览器中，启用语音搜索功能就是这么简单而高效&#xf…
阅读更多...
C语言从入门到放弃教程

C语言从入门到放弃教程

C语言从入门到放弃 1. 介绍1.1 特点1.2 历史与发展1.3 应用领域 2. 安装2.1 编译器安装2.2 编辑器安装 3. 第一个程序1. 包含头文件2. 主函数定义3. 打印语句4. 返回值 4. 基础语法4.1 注释4.1.1 单行注释4.1.2 多行注释 4.2 关键字4.2.1 C语言标准4.2.2 C89/C90关键字&#xf…
阅读更多...
实力认可 | 通付盾入选《ISC.AI 2024创新能力全景图谱》五项领域

实力认可 | 通付盾入选《ISC.AI 2024创新能力全景图谱》五项领域

近日，ISC.AI 2024创新能力百强（以下简称“创新百强”）正式发布《ISC.AI 2024创新能力全景图谱》。该全景图谱是由政企、资本、高校、行业力量共同完成了领域划分、综合创新等标准的制定，整合梳理了参评的300余家数字安全厂商、120…
阅读更多...
Vue3项目中引入TailwindCSS（图文详情）

Vue3项目中引入TailwindCSS（图文详情）

Vue3项目中引入TailwindCSS（图文详细） Tailwind CSS 是一个实用工具优先的 CSS 框架，提供丰富的低级类（如 text-center、bg-blue-500），允许开发者通过组合这些类快速构建自定义设计，而无需编写…
阅读更多...
WordPress File Upload 插件 任意文件读取漏洞复现(CVE-2024-9047)

WordPress File Upload 插件 任意文件读取漏洞复现(CVE-2024-9047)

0x01 产品简介 WordPress File Upload插件是一款功能强大的WordPress站点文件上传插件，它允许用户在WordPress站点中的文章、页面、侧边栏或表单中轻松上传文件到wp-contents目录中的任何位置。该插件使用最新的HTML5技术，确保在现代浏览器和移动设备上都能流畅运行，同时也…
阅读更多...
GFPS扩展技术原理（七）-音频切换消息流

GFPS扩展技术原理（七）-音频切换消息流

音频切换消息流 Seeker和Provider通过消息流来同步音频切换能力，触发连接做切换，获取或设置音频切换偏好，通知连接状态等等。为此专门定义了音频切换消息流Message Group 为0x07，Message codes如下： MAC of Audio s…
阅读更多...
Java开发经验——系统迁移经验

Java开发经验——系统迁移经验

摘要 本文全面介绍了系统迁移的各个关键步骤和策略，包括需求分析、数据迁移、系统集成、功能优化、业务连续性保障、用户迁移、性能测试、切换与回滚机制、文档转移等。同时，探讨了通用迁移方案、挑战应对措施、不同规模系统的迁移策略，以及…
阅读更多...
JavaWeb - ⭐ AOP 面相切面编程原理及用户校验功能实战

JavaWeb - ⭐ AOP 面相切面编程原理及用户校验功能实战

一、概述 定义： AOP (Aspect Oriented Programming 面向切面编程) ，一种面向方法编程的思想 功能：管理 bean 对象的过程中，通过底层的动态代理机制对特定方法进行功能的增强或改变 实现方式：动态代理技术&#xff0c…
阅读更多...
MFC案例：图片文件转图标（ico）格式

MFC案例：图片文件转图标（ico）格式

本案例程序目的是将一般图像文件转换成图标格式(ico)。实现起来不是很复杂，这里为了介绍MFC的具体使用方法，在程序界面上分成几个功能块，包括：打开图像文件、选择ICON大小、转换、预览、保存等。相关具体步骤如下： 一、…
阅读更多...
Scala_【2】变量和数据类型

Scala_【2】变量和数据类型

第二章 注释标识符的命名规范命名规则关键字 变量字符串输出数据类型关系变量和数据类型整数类型（Byte、Short、Int、Long）浮点类型（Float、Double）字符类型（Char）布尔类型（Boolean）…
阅读更多...
R语言数据分析案例46-不同区域教育情况回归分析和探索

R语言数据分析案例46-不同区域教育情况回归分析和探索

一、研究背景 教育是社会发展的基石，对国家和地区的经济、文化以及社会进步起着至关重要的作用。在全球一体化进程加速的今天，不同区域的教育发展水平呈现出多样化的态势。这种差异不仅体现在教育资源的分配上，还表现在教育成果、教育投入与…
阅读更多...
8086汇编(16位汇编)学习笔记03.汇编指令

8086汇编(16位汇编)学习笔记03.汇编指令

8086汇编(16位汇编)学习笔记03.汇编指令-C/C基础-断点社区-专业的老牌游戏安全技术交流社区 - BpSend.net 指令种类 数据传送指令算数运算类指令位操作类指令串操作类指令控制转移类指令处理器控制类指令 数据传送类指令 **传送类指令不影响标志位，**除了标志位传…
阅读更多...
Antd react上传图片格式限制

Antd react上传图片格式限制

限制分辨率&#xff08;像素&#xff09; <a-upload :before-upload"beforeUpload">// 上传图片宽高比例限制const beforeUpload file > {return new Promise((resolve, reject) > {// // 图片类型限制// let isJpgOrPng file.type image/png || fil…
阅读更多...
Confluent Cloud Kafka 可观测性最佳实践

Confluent Cloud Kafka 可观测性最佳实践

Confluent Cloud 介绍 Confluent Cloud 是一个完全托管的 Apache Kafka 服务&#xff0c;提供高可用性和可扩展性&#xff0c;旨在简化数据流处理和实时数据集成。用户可以轻松创建和管理 Kafka 集群&#xff0c;而无需担心基础设施的维护和管理。Confluent Cloud 支持多种数据…
阅读更多...
StartAI图生图局部重绘，让画面细节焕发新生！！

StartAI图生图局部重绘，让画面细节焕发新生！！

在设计的世界里&#xff0c;每一个细节都承载着我们的创意与心血。然而&#xff0c;有时我们总会遇到一些不尽如人意的画面细节&#xff0c;它们如同瑕疵般破坏了整体的和谐与美感。今天&#xff0c;我要向大家推荐一款强大的工具——StartAI的局部重绘功能&#xff0c;它正是我…
阅读更多...
最新文章

Copyright @ 2022~2023