09、基于LunarLander登陆器的Dueling DQN强化学习(含PYTHON工程)

09、基于LunarLander登陆器的Dueling DQN强化学习(含PYTHON工程)

参考:

论文地址:https://proceedings.mlr.press/v48/wangf16.pdf

LunarLander复现:
07、基于LunarLander登陆器的DQN强化学习案例(含PYTHON工程)

08、基于LunarLander登陆器的DDQN强化学习(含PYTHON工程)

09、基于LunarLander登陆器的Dueling DQN强化学习(含PYTHON工程)

10、基于LunarLander登陆器的Dueling DDQN强化学习(含PYTHON工程)

基于TENSORFLOW2.10

0、实践背景

gym的LunarLander是一个用于强化学习的经典环境。在这个环境中,智能体(agent)需要控制一个航天器在月球表面上着陆。航天器的动作包括向上推进、不进行任何操作、向左推进或向右推进。环境的状态包括航天器的位置、速度、方向、是否接触到地面或月球上空等。

智能体的任务是在一定的时间内通过选择正确的动作使航天器安全着陆,并且尽可能地消耗较少的燃料。如果航天器着陆时速度过快或者与地面碰撞,任务就会失败。智能体需要通过不断地尝试和学习来选择最优的动作序列,以完成这个任务。

下面是训练的结果:
在这里插入图片描述

2、Dueling DQN实现原理

2.1 Dueling DQN基本知识

Dueling Deep Q Network(Dueling DQN)是对DQN算法的改进,有效提升了算法的性能。如果对DQN还不了解的话可以先参考:07、基于LunarLander登陆器的DQN强化学习案例(含PYTHON工程)

简单回顾一下DQN的基本知识,DQN的输出依赖于Q网络,其输出实际上是动作价值函数,该函数的维度等于动作空间的维度,就是你能执行的动作的数量。例如,动作价值函数的输出是[0.1,0.2,0.3],我可以执行的动作是【上、左、右】,那么显而易见,执行右动作所获得的动作价值最高,那么我们所执行的动作应该是(如果贪心策略的话)。

Dueling DQN是在DQN的基础上进行改进,其输出包含两个部分,分别是状态价值和动作优势。
显然,状态价值用于衡量当前状态的优劣,其实际上是一个数(标量),而动作优势函数的维度等于动作空间的维度,代表执行每个动作能带来多大的相对优势

动作优势函数的和为0,因此其实际上是一个相对值,表示某个动作相对其均值(所有动作价值的均值)能够带来多大的优势。

DQN和Dueling DQN的网络结构如下所示,可以看到Dueling DQN输出包含两个部分,将动作优势和其状态价值求和就是原来的动作价值函数Q(动作价值函数Q就是经典DQN的输出)。

更深入一点,状态价值函数V实际上就是动作价值函数Q的期望,也可以简单理解为状态价值函数是Q的均值(这边简化一下,实际上期望的求解还需要乘以概率分布然后连加): V π ( s t ) = E [ Q π ( s t , A ) ] V_{\pi}(s_{t})=E\left[Q_{\pi}(s_{t},A)\right] Vπ(st)=E[Qπ(st,A)]。由此,Dueling DQN实际上是把输出拆成了两部分,一部分是Q的均值mean(Q),一部分是Q-mean(Q)的部分,两部分的和就是Q函数,与DQN一致。
在这里插入图片描述

更加详细的理论参考:深度强化学习-Dueling DQN算法原理与代码

2.2 Dueling DQN能够带来性能提升的简单直觉

将原来的动作价值函数Q,拆分为状态价值函数mean(Q)和动作优势函数Q-mean(Q)有什么好处呢?在此举例:

存在一种情况,无论你采取任何动作,对结果的影响可能都并不关键。

例如,朱元璋开局一个碗,到发家致富建立大明,必然是发奋刻苦,抓住实际,因此,他的每一个动作的选择都至关重要,会对他的未来造成很大的影响。再例如,我开局10个亿,我每天吃吃喝喝,干啥都能享受生活,反正那么多米一辈子也用不完嘞。这种情况下,我采取什么动作已经不是很重要了,毕竟开局就在罗马。

因此,将原来的动作价值函数拆分为状态价值函数mean(Q)和动作优势函数Q-mean(Q),是合理的,可以分辨当前的动作优势是自身动作带来的还是当前环境带来的,这样各司其职,效果也会更好。

关于“分辨当前的动作优势是自身动作带来的还是当前环境带来的”,还有一个方便读者理解的例子,例如我一届书生,进京赶考,考取功名当官了,那这种情况我获得的奖励大概来自自身的动作;但是如果我是宰相的儿子,也当官了,可能当前环境(我的爸爸是宰相)所造成的优势会更大一点。

3 Dueling DQN的代码实现

基于LunarLander登陆器的DQN强化学习案例(含PYTHON工程)已经给出了DQN的全部实现代码,Dueling DQN只是在网络构建上有所不同。Dueling DQN的网络构建代码如下所示:

def GenModelDuelingDQN(num_actions, input_dims, fc1, fc2, fc3):
    # define input
    input_node = tf.keras.Input(shape=input_dims)
    input_layer = input_node
    # define state value function(计算状态价值函数)
    state_value = tf.keras.layers.Dense(fc1, activation='relu')(input_layer)
    state_value = tf.keras.layers.Dense(1, activation='linear')(state_value)
    # state value and action value need to have the same shape for adding
    # 这里是进行统一维度的
    state_value = tf.keras.layers.Lambda(
        lambda s: tf.keras.backend.expand_dims(s[:, 0], axis=-1),
        output_shape=(input_dims,))(state_value)

    # define acion advantage (行为优势)
    action_advantage = tf.keras.layers.Dense(fc1, activation='relu')(input_layer)
    action_advantage = tf.keras.layers.Dense(fc2, activation='relu')(action_advantage)
    action_advantage = tf.keras.layers.Dense(fc3, activation='relu')(action_advantage)
    action_advantage = tf.keras.layers.Dense(num_actions, activation='linear')(action_advantage)
    # See Dueling_DQN Paper
    action_advantage = tf.keras.layers.Lambda(
        lambda a: a[:, :] - tf.keras.backend.mean(a[:, :], keepdims=True),
        output_shape=(num_actions,))(action_advantage)
    # 相加
    Q = tf.keras.layers.add([state_value, action_advantage])
    # define model
    model = tf.keras.Model(inputs=input_node, outputs=Q)
    return model

其中,使用tf.keras.layers.Lambda自定义网络层,lambda a: a[:, :] - tf.keras.backend.mean(a[:, :]就是实现动作优势函数的关键。但是,最终输出的还是Q,要把动作优势函数和状态函数两部分加起来。因此,其在训练过程中和DQN没有什么不同。

4 Dueling DQN效果

对于LunarLander登陆器这个环境,Dueling DQN没有带来非常明显的改善,也有可能是因为我没有调参数。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/265230.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Java之ArrayList源码解读

ArrayList源码解读 ArrayList ArrayList 的底层是数组队列,相当于动态数组。与 Java 中的数组相比,它的容量能动态增长。在添加大量元素前,应用程序可以使用ensureCapacity操作来增加 ArrayList 实例的容量。这可以减少递增式再分配的数量。…

SwiftUI 趣谈之:绝不可能(Never)的 View!

概览 SwiftUI 的出现极大的解放了秃头码农们的生产力。SwiftUI 中众多原生和自定义视图对于我们创建精彩撩人的 App 功不可没! 不过,倘若小伙伴们略微留意过 SwiftUI 框架头文件里的源代码,就会发现里面嵌有一些奇怪 Never 类型&#xff0c…

Unity中Shader旋转矩阵(二维旋转矩阵)

文章目录 前言一、旋转矩阵的原理1、我们以原点为中心,旋转坐标轴θ度2、求 P~2x~:3、求P~2y~:4、最后得到 P~2~点 的点阵5、该点阵可以拆分为以下两个矩阵相乘的结果 二、在Shader中,使用该旋转矩阵实现围绕 z 轴旋转1、在属性面板定义 floa…

信号与线性系统翻转课堂笔记8——周期信号的频谱

信号与线性系统翻转课堂笔记8——周期性信号的频谱 The Flipped Classroom8 of Signals and Linear Systems 对应教材:《信号与线性系统分析(第五版)》高等教育出版社,吴大正著 一、要点 (1,重点&#…

nodejs+vue+微信小程序+python+PHP基于推荐算法的电影推荐系统-计算机毕业设计推荐django

信息数据的处理完全依赖人工进行操作,会耗费大量的人工成本,特别是面对大量的数据信息时,传统人工操作不仅不能对数据的出错率进行保证,还容易出现各种信息资源的低利用率与低安全性问题。更有甚者, 另一方面可以确保信…

系列八、VMWare无法启动CentOS7问题排查 解决

一、VMWare无法启动CentOS7 1.1、问题描述 今天在测试代码的时候,需要用到Linux,然后就打开VMWare进行启动,但是启动的时候发现无法启动起来,报了一个如下的错误: 出现了问题那就要解决问题,然后想起来前几…

【设计模式】命令模式

其他系列文章导航 Java基础合集数据结构与算法合集 设计模式合集 多线程合集 分布式合集 ES合集 文章目录 其他系列文章导航 文章目录 前言 一、什么是命令模式? 二、命令模式的优点和应用场景 三、命令模式的要素和实现 3.1 命令 3.2 具体命令 3.3 接受者 …

Flink快速部署集群,体验炸了!

📢📢📢📣📣📣 哈喽!大家好,我是【IT邦德】,江湖人称jeames007,10余年DBA及大数据工作经验 一位上进心十足的【大数据领域博主】!😜&am…

反序列化版本漏洞

laravel5.7反序列化漏洞 <?phpnamespace Illuminate\Foundation\Testing {class PendingCommand{public $test;protected $app;protected $command;protected $parameters;public function __construct($test, $app, $command, $parameters){$this->test $test; …

【MVT_1703230471】基于Python NLTK分词、词云、LDA主题分类及GPT情感分类

【Talk is cheap】 1 数据探索 case idcase outcome case title case text 0 Case1 cited Alpine Hardwood (Aust) Pty Ltd v Hardys Pty Lt... Ordinarily that discretion will be exercised s... 1 Case2 cited Black v Lipovac [1998] FCA 699 ; (1998) 217 AL... The gen…

tsconfig.app.json文件报红:Option ‘importsNotUsedAsValues‘ is deprecated...

在创建vue3 vite ts项目时的 tsconfig.json&#xff08;或者tsconfig.app.json&#xff09; 配置文件经常会报一个这样的错误&#xff1a; 爆红&#xff1a; Option ‘importsNotUsedAsValues’ is deprecated and will stop functioning in TypeScript 5.5. Specify compi…

【内存泄漏】编码实现内存泄漏检测功能

编码实现内存泄漏检测功能 使用脚本统计 meminfo 判断是否有内存泄漏 使用 bash 或 python 脚本循环抓取指定进程的 meminfo 保存到 txt 文件&#xff1b;使用 python 脚本解析出txt 文件中的 PSS 信息&#xff0c;借助 pyecharts 或其他可视化三方库将数据以折线图可视化&am…

【Earth Engine】协同Sentinel-1/2使用随机森林回归实现高分辨率相对财富(贫困)制图

目录 1 简介与摘要2 思路3 效果预览4 代码思路5 完整代码6 后记 1 简介与摘要 最近在做一些课题&#xff0c;需要使用Sentinel-1/2进行机器学习制图。 然后想着总结一下相关数据和方法&#xff0c;就花半小时写了个代码。 然后再花半小时写下这篇博客记录一下。 因为基于多次拍…

学校和老师如何制作自己免费的成绩查询系统

在当今数字化的时代&#xff0c;许多学校都采用信息技术来管理和提高工作效率。其中&#xff0c;成绩查询系统是一个非常实用的工具&#xff0c;它可以让老师和学生们快速、方便地查询成绩。那么&#xff0c;学校和老师如何制作自己免费的成绩查询系统呢&#xff1f;本文将为你…

【Amazon 实验①】使用 Amazon CloudFront加速Web内容分发

文章目录 实验架构图1. 准备实验环境2. 创建CloudFront分配、配置动、静态资源分发2.1 创建CloudFront分配&#xff0c;添加S3作为静态资源源站2.2 为CloudFront分配添加动态源站 在本实验——使用CloudFront进行全站加速中&#xff0c;将了解与学习Amazon CloudFront服务&…

Python办公自动化Day1

目录 文章声明⭐⭐⭐让我们开始今天的学习吧&#xff01;xlwt创建Excelxlrd读取Excelxlutils修改Excelxlwt设置样式常见的字体样式单元格宽高内容对齐方式设置单元格边框设置背景颜色样式整合起来的写法 文章声明⭐⭐⭐ 该文章为我&#xff08;有编程语言基础&#xff0c;非编…

RabbitMQ笔记(高级篇)

RabbitMQ笔记_高级篇 问题代码准备1. 新建生产者2. 新建消费者 RabbitMQ 高级特性1. 消息的可靠投递☆1.1 两种模式1.2 测试confirm 确认模式1.3 测试return 退回模式1.4 小结 2. Consumer ACK☆2.1 三种ACK2.2 测试手动ACK2.3 小结2.4 消息可靠性总结 3. 消费端限流测试消费端…

旅游海报图怎么做二维码展示?扫码即可查看图片

现在旅游攻略的海报可以做成二维码印刷在宣传单单页或者分享给用户来了解目的地的实际情况&#xff0c;出行路线、宣传海报等。用户只需要扫描二维码就可以查看内容&#xff0c;更加的方便省劲&#xff0c;那么旅游海报的图片二维码制作的技巧有哪些呢&#xff1f;使用图片二维…

【算法设计与分析】——动态规划算法

&#x1f383;个人专栏&#xff1a; &#x1f42c; 算法设计与分析&#xff1a;算法设计与分析_IT闫的博客-CSDN博客 &#x1f433;Java基础&#xff1a;Java基础_IT闫的博客-CSDN博客 &#x1f40b;c语言&#xff1a;c语言_IT闫的博客-CSDN博客 &#x1f41f;MySQL&#xff1a…

关于“Python”的核心知识点整理大全36

目录 13.4.4 向下移动外星人群并改变移动方向 game_functions.py alien_invasion.py 13.5 射杀外星人 13.5.1 检测子弹与外星人的碰撞 game_functions.py alien_invasion.py 13.5.2 为测试创建大子弹 13.5.3 生成新的外星人群 game_functions.py alien_invasion.py …