强化学习基础概念入门

文章目录

  • 1. 什么是强化学习?
  • 2. 强化学习的基本元素
  • 3. 相关衍生元素
    • 3.1 策略(Policy)
    • 3.2 状态转移(State Transition)
    • 3.3 回报(Return)
    • 3.4 价值函数(Value Function)
  • 4. 算法分类
    • 4.1 按环境是否已知划分
    • 4.2 按学习方式划分
    • 4.3 按学习目标划分
  • 参考资料


1. 什么是强化学习?

强化学习(Reinforcement learning,RL)讨论的问题是一个智能体(agent) 怎么在一个复杂不确定的 环境(environment) 里面去极大化它能获得的奖励。通过感知所处环境的 状态(state)动作(action)反应(reward), 来指导更好的动作,从而获得最大的 收益(return),这被称为在交互中学习,这样的学习方法就被称作强化学习。

在这里插入图片描述

在强化学习过程中,智能体跟环境一直在交互。智能体在环境里面获取到状态 S t S_t St,智能体根据这个状态,结合自己的策略输出一个动作 A t A_t At。然后这个决策会放到环境之中去,环境会根据智能体采取的决策,根据状态模型输出下一个状态 S t + 1 S_{t+1} St+1 以及返回给智能体做当前的这个动作所得到的奖励值 R t + 1 R_{t+1} Rt+1,然后智能体可以继续选择下一个合适的动作,循环反复这个过程。最终的目的是为了尽可能多地从环境中获取奖励。

例如,我们走路摔倒了,大脑后面就会给一个负面的反馈,说明走势姿势不好,接着我们从摔倒状态爬起来并正常走路,那么大脑会给一个正面的反馈,此时我们就会知道并倾向于保持这个好的走路姿势。

强化学习是和监督学习、非监督学习并列的第三种基本的机器学习方法

在这里插入图片描述

  • 监督学习 是从外部监督者提供的带标注训练集中进行学习。 (任务驱动型)
  • 非监督学习 是一个典型的寻找未标注数据中隐含结构的过程。 (数据驱动型)
  • 强化学习 没有监督学习已经准备好的训练数据输出值,它只有奖励值,且这个奖励值不是事先给出的,而是延后给出的,而非监督学习既没有输出值也没有奖励值,只有数据特征。强化学习更偏重于智能体与环境的交互,它的每一步决策与时间顺序的前后关系紧密, 这带来了一个独有的挑战 ——“试错(exploration)”与“开发(exploitation)”之间的折中权衡,智能体必须开发已有的经验来获取收益,同时也要进行试探,使得未来可以获得更好的动作选择空间。 (从错误中学习)

强化学习主要有以下几个特点:

  • 试错学习:强化学习一般没有直接的指导信息,Agent 要以不断与 Environment 进行交互,通过试错的方式来获得最佳策略(Policy);
  • 延迟回报:强化学习的指导信息很少,而且往往是在事后(最后一个状态(State))才给出的。比如 围棋中只有到了最后才能知道胜负。

强化学习常见的应用场景有:
在这里插入图片描述

2. 强化学习的基本元素

在这里插入图片描述

  • 环境(Environment) 是一个外部系统,智能体处于这个系统中,能够感知到这个系统并且能够基于感知到的状态做出一定的行动。
  • 智能体(Agent) 是一个嵌入到环境中的系统,能够通过采取行动来改变环境状态的对象,一般地说,在一个应用中谁采取动作谁就是 agent。
  • 状态(State)/观察值(Observation):状态是对世界的完整描述,不会隐藏世界的信息。观测是对状态的部分描述,可能会遗漏一些信息。
  • 动作(Action):不同的环境允许不同种类的动作,在给定的环境中,有效动作的集合经常被称为动作空间(action space),包括离散动作空间(discrete action spaces)和连续动作空间(continuous action spaces),例如,走迷宫机器人如果只有东南西北这 4 种移动方式,则其为离散动作空间;如果机器人向 360° 中的任意角度都可以移动,则为连续动作空间。
  • 奖励(Reward):是由环境给的一个标量的反馈信号(scalar feedback signal),这个信号显示了智能体在某一步采 取了某个策略的表现如何。

在这里插入图片描述

强化学习的基本元素对应上图中的内容
agent
environment鸟周围的环境,水管、天空(包括小鸟本身)
state拍个照(目前的像素)
action鸟向上向下动作
reward距离(越远奖励越高)

3. 相关衍生元素

3.1 策略(Policy)

策略是智能体用于决定下一步执行什么行动的规则。可以是确定性的关系,根据一个状态即可决定采取的下一步动作,用符号 μ \mu μ 表示,关系如下:

a t = μ ( s t ) a_t=\mu(s_t) at=μ(st)

智能体采取动作的策略也可以是随机的,即在一个状态下,下一步采取的动作满足一个随机的概率分布,此时概率大的动作被智能体选择的概率较高,用符号 π \pi π 表示:

a t   ∼ π ( ⋅ ∣ s t ) a_t\ \sim \pi\left(\cdot \mid \mathrm{s}_{\mathrm{t}}\right) at π(st)

一般来说,如果策略过于确定,则容易被针对,即在与别人博弈的过程中难以取胜,因此在很多应用里面的策略函数是一个概率密度函数,让别人不一定能预测到下一步的动作。

3.2 状态转移(State Transition)

状态转移即智能体在采取某一个动作之后,环境的状态发生改变的过程。状态转移过程可以理解为一个概率模型,将状态 s s s 在智能体采取动作 a a a 后转到下一个状态 s ′ s' s 的概率设为 P s s ′ a P^a_{ss'} Pssa,状态转移过程可以是确定的也可以是随机的,一般认为是随机的,它的这种随机性来源于环境。可以用状态密度函数来表示:

p ( s ′ ∣ s , a ) = P ( S ′ = s ′ ∣ S = s , A = a ) p(s'|s,a)=\mathbb{P}(S'=s'|S=s, A=a) p(ss,a)=P(S=sS=s,A=a)

当前的环境状态 s s s 在智能体的行动 a a a 下,可能转变为不同的 s ′ s' s,不同的转移后状态用概率函数进行表示,在环境中,这种变化通常是未知的,因此需要在不断的训练当中去探索。

策略动作的随机性,以及环境状态转移的随机性,是强化学习中的两种基本的随机因素。

3.3 回报(Return)

回报又称 cumulated future reward,一般表示为 U U U,定义为:

U t = R t + R t + 1 + R t + 2 + R t + 3 + . . . U_t=R_t+R_{t+1}+R_{t+2}+R_{t+3}+... Ut=Rt+Rt+1+Rt+2+Rt+3+...

其中 R t R_t Rt 表示第 t t t 时刻的奖励 R e w o r d Reword Reword,agent 的目标就是让 R e t u r n Return Return 最大化。这里,我们不仅看当前做出动作后的奖励 R t R_t Rt,还需要看后续的各个时刻的奖励,例如下棋,我们不止看当前步是否能得利,还得看当前步对后续棋盘格局是否有影响,以使得后续也有持续高的回报。

未来的奖励不如现在等值的奖励那么好(比如一年后给 100 块不如现在就给),所以 R t + 1 R_{t+1} Rt+1 的权重应该小于 R t R_t Rt。因此,强化学习通常用 discounted return(折扣回报,又称 cumulative discounted future reward,累计贴现未来奖励),取 γ \gamma γ 为 discount rate(折扣率,有时也叫做奖励衰减因子), γ ∈ ( 0 , 1 ] \gamma\in (0,1] γ(0,1],如果 γ = 1 \gamma=1 γ=1,则说明后续的回报与当前的回报一视同仁,具体公式如下:

U t = R t + γ R t + 1 + γ 2 R t + 2 + γ 3 R t + 3 + . . . U_t=R_t+\gamma R_{t+1}+\gamma^2R_{t+2}+\gamma^3R_{t+3}+... Ut=Rt+γRt+1+γ2Rt+2+γ3Rt+3+...

3.4 价值函数(Value Function)

举例来说,在象棋游戏中,定义赢得游戏得1分,其他动作得0分,状态是棋盘上棋子的位置。仅从1分和0分这两个数值并不能知道智能体在游戏过程中到底下得怎么样,而通过价值函数则可以获得更多洞察。

价值函数使用对未来的收益期望进行预测,一方面不必等待未来的收益实际发生就可以获知当前状态的好坏,另一方面通过期望汇总了未来各种可能的收益情况。使用价值函数可以很方便地评价不同策略的好坏。

  • v π v_{\pi} vπ 状态价值函数(State-value Function):用来度量给定策略 π \pi π 的情况下,当前状态 s t s_t st 的好坏程度:

v π ( s ) = E π [ G t ∣ S t = s ] v_{\pi}(s)=\mathbb{E}_{\pi}[G_t|S_t=s] vπ(s)=Eπ[GtSt=s]

当智能体从状态 s s s 开始,基于策略 π \pi π (随机)选择后续动作所产生的期望回报,代表了该状态 s s s 的价值,即告知当前的局势的好坏程度。

  • q π q_{\pi} qπ 动作价值函数(Action-value Function):用来度量给定状态 s t s_t st 和策略 π \pi π 的情况下,采用动作 a t a_t at 的好坏程度:

q π ( s , a ) = E π [ G t ∣ S t = s , A t = a ] q_{\pi}(s,a)=\mathbb{E}_{\pi}[G_t|S_t=s,A_t=a] qπ(s,a)=Eπ[GtSt=s,At=a]

当已知智能体的策略函数 π \pi π,则在状态 s s s 下,对当前状态下可以采取的所有动作进行打分,就可以知道采取哪个动作好,哪个动作不好。当然,在不同的动作策略下,对动作的价值判断就不同,而好的动作策略是让博弈的赢面更大,因此最大化 q π q_{\pi} qπ π \pi π 即是最优策略,相应的动作价值函数称为 q ∗ q^* q 最优动作价值函数。

4. 算法分类

在这里插入图片描述

4.1 按环境是否已知划分

按照环境是否已知划分为:免模型学习(Model-Free)有模型学习(Model-Based)

  • Model-free 就是不去学习和理解环境,环境给出什么信息就是什么信息,常见的方法有policy optimization和Q-learning。
  • Model-Based 是去学习和理解环境,学会用一个模型来模拟环境,通过模拟的环境来得到反馈。Model-Based 相当于比Model-Free 多了模拟环境这个环节,通过模拟环境预判接下来会发生的所有情况,然后选择最佳的情况。

一般情况下,环境都是不可知的,即无法套用 Model-Based 算法。

4.2 按学习方式划分

按照学习方式划分为:在线策略(On-Policy)离线策略(Off-Policy)

  • On-Policy 是指 agent 必须本人在场, 并且一定是本人边玩边学习。典型的算法为 Sarsa。
  • Off-Policy 是指 agent 可以选择自己玩, 也可以选择看着别人玩, 通过看别人玩来学习别人的行为准则, 离线学习同样是从过往的经验中学习, 但是这些过往的经历没必要是自己的经历, 任何人的经历都能被学习,也没有必要是边玩边学习,玩和学习的时间可以不同步。典型的方法是 Q-learning,以及 Deep-Q-Network。

4.3 按学习目标划分

按照学习目标划分:基于价值(Value-Based)基于策略(Policy-Based)

在这里插入图片描述

  • 基于价值 Value-Based 的方法通过训练得到 Q 表或者是近似一个价值函数,并以此判断动作价值,制定相应的策略。该方法适用于非连续的动作。
    1. 这类方法具有较高的稳定性和更容易解释的理论;
    2. 不适用于高维(连续)问题等的复杂问题,当问题复杂时容易受到噪声干扰,收敛性较差,且对参数即为敏感;
    3. 常见的方法有 Q-learning、DQN和Sarsa。
  • 基于策略 Policy-Based 的方法通过直接学习最优策略来指导决策,在处理连续动作空间,和高维状态空间时具有较强的适应性。
    1. 这类方法具有较高的适应性,且能够处理随机策略;
    2. 由于是直接优化策略,最终的策略方法可能具有较高方差,且一些策略方法需要大量的采样来准确估计,可能会导致训练时间较长;
    3. 常见的方法有 Policy gradients、REINFORCE。
  • 更为厉害的方法是二者的结合:Actor-Critic,Actor根据概率做出动作,Critic 根据动作给出价值,以期每次都选取最优动作,从而加速学习过程,常见的有 A2C,A3C,DDPG等。

参考资料

  1. 张浩在路上:强化学习入门
  2. 强化学习介绍 / OpenAI Spinning Up
  3. Reinforcement Learning: An Introduction - Chapter 13: Policy Gradient Method
  4. Sutton R S. Policy Gradient Methods for Reinforcement Learning with Function Approximation[J]. Submitted to Advances in Neural Information Processing Systems, 1999, 12:1057-1063.
  5. 强化学习——策略梯度与Actor-Critic算法

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/537143.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

本地开发nginx代理服务器(2024-04-10)

1、nginx 解释 nginx 是一个高性能的HTTP和反向代理服务器,同时也是一个IMAP/POP3/SMTP 代理服务器。 在性能上,Nginx占用很少的系统资源,能支持更多的并发连接,达到更高的访问效率; 在功能上,Nginx是优…

QT:QMainWindow、ui界面、资源文件的添加、信号和槽

1.练习:使用手动连接,将登录框中的取消按钮使用qt4版本的连接到自定义的槽函数中,在自定义的槽函数中调用关闭函数 #include "widget.h" #include "ui_widget.h"Widget::Widget(QWidget *parent): QWidget(parent), ui(…

OJ 古籍翻译 【进制转化】【C】

这里有两个考察点,一个是进制转换,还有一个是以字符串输出 知识点: sprintf(参数一,参数二,参数三) 将参数三按参数二的格式转换后存入参数一中 sprintf与printf用法基本一样,只是sprintf是将值打印到指…

SketchBook2014 下载地址及安装教程

SketchBook是一款专业级别的绘图与绘画软件。它提供了丰富的绘画工具和创意功能,适用于艺术家、插画师、设计师和数字艺术爱好者。SketchBook具有直观的用户界面,简单而强大的绘制工具,能够帮助用户在数字平台上创造出精美的艺术作品。 Sket…

哪些工作不会被AI替代:人类能力地形图

这一轮AI,到底对人有多强的替代性?这一轮AI的可靠性,是之前任何一代所谓的人工智能都不能比的。 在国内,AI开始被用来筛选简历,而在国外,亚马逊正在用算法跟踪仓库工人的生产率,顺道还会给生产率…

橘子学JDK之JMH-02(BenchmarkModes)

一、案例二代码 这次我们来搞一下官网文档的第二个案例,我删除了一些没用的注释,然后对代码做了一下注释的翻译,可以看一下意思。 package com.levi;import org.openjdk.jmh.annotations.*; import org.openjdk.jmh.runner.Runner; import …

RocketMQ之Topic和Tag最佳实践

一、Topic是什么?它的作用? Topic即主题,是消息队列中用于对消息进行分类和组织的一种机制,它有以下三种作用: 标识消息分类:RocketMQ的主题用于对消息进行分类和组织。通过为不同类型的消息分配不同的主题…

LeetCode-Java:6.Z字形变换

文章目录 题目解① 找规律 题目 将一个给定字符串 s 根据给定的行数 numRows ,以从上往下、从左到右进行 Z 字形排列。 比如输入字符串为 "PAYPALISHIRING" 行数为 3 时,排列如下: P A H N A P L S I I G Y I R之后&a…

2024Mathorcup(妈妈杯)数学建模C题python代码+数据教学

2024Mathorcup数学建模挑战赛(妈妈杯)C题保姆级分析完整思路代码数据教学 C题题目:物流网络分拣中心货量预测及人员排班 因为一些不可抗力,下面仅展示部分代码(很少部分部分)和部分分析过程,其…

[python] Numpy库用法(持续更新)

先导入一下 import numpy as np 一、np.random用法 生成随机整数:np.random.randint(low, high, size) low: 最小值high: 最大值size: 生成的数组大小(可以是多维,下面同理) 生成随机浮点数:np.random.uniform(low, …

下线圈和包扎

电机槽内放好 所有槽纸 槽内再放入引槽纸 作用是放线圈的时候避免划伤线 开始放线圈 绑了白色扎带的朝外面 线圈的一边放进去后,另一边还悬在外面 ,这里俗称 吊边。 为了保护吊边 ,在吊边处放一张大的绝缘纸 (如下图&#xff0…

32.WEB渗透测试-数据传输与加解密(6)

免责声明:内容仅供学习参考,请合法利用知识,禁止进行违法犯罪活动! 内容参考于: 易锦网校会员专享课 上一个内容:31.WEB渗透测试-数据传输与加解密(5) 关于discuz3.5的源码内容和…

C++STL--谓词

谓词 ① 可调用的表达式称为谓词,包括仿函数,自定义函数,lambda表达式。 ② 接受一个参数的谓词,称为一元谓词。 ③ 接受两个参数的谓词,称为二元谓词。 可调用的表达式:对于一个对象或者表达式,如果可以使用调用运算符(),就称它为可以调用的。 一元谓…

java混淆的重要性分析

Java代码混淆是一种常用的安全技术,它通过对Java代码进行变换和重命名,使得源代码变得难以理解和逆向工程,从而增强代码的安全性。以下是对Java混淆重要性的分析: 保护知识产权:Java混淆可以防止恶意用户或竞争对手轻易…

macos 查看 远程服务器是否开放某个端口

想要使用mac查看远程服务器某个端口是否开发&#xff0c;可通过 nc 命令&#xff0c;如下&#xff1a; nc -zv <服务器IP> <端口号>如果该端口开发&#xff0c;结果为&#xff1a;succeeded! Connection to <服务器IP> port <端口号> [类型] succeed…

密码学 | 椭圆曲线 ECC 密码学入门(二)

目录 4 椭圆曲线&#xff1a;更好的陷门函数 5 奇异的对称性 6 让我们变得奇特 ⚠️ 原文地址&#xff1a;A (Relatively Easy To Understand) Primer on Elliptic Curve Cryptography ⚠️ 写在前面&#xff1a;本文属搬运博客&#xff0c;自己留着学习。如果你和我一样…

leetcode 1702

leetcode 1702 题目 例子 代码思路 class Solution { public:string maximumBinaryString(string binary) {int n binary.size();int i binary.find(0);if(i string::npos){return binary;}int zeros count(binary.begin(), binary.end(), 0);string s(n, 1);s[izeros-1]…

Python爬虫怎么挣钱?6个Python爬虫赚钱方式,搞搞副业不是问题

1.最典型的就是找爬虫外包活儿 网络爬虫最通常的的挣钱方式通过外包网站&#xff0c;做中小规模的爬虫项目&#xff0c;向甲方提供数据抓取&#xff0c;数据结构化&#xff0c;数据清洗等服务。新入行的程序员大多都会先尝试这个方向&#xff0c;直接靠技术手段挣钱&#xff0…

数据结构复习指导之绪论(算法的概念以及效率的度量)

文章目录 绪论&#xff1a; 2.算法和算法评价 知识总览 2.1算法的基本概念 知识点回顾与重要考点 2.2算法效率的度量 知识总览 1.时间复杂度 2.空间复杂度 知识点回顾与重要考点 归纳总结 绪论&#xff1a; 2.算法和算法评价 知识总览 2.1算法的基本概念 算法( Al…

一辆汽车的节拍时间是怎样的?

节拍时间&#xff0c;又称 takt time&#xff0c;是德语中“节奏”的意思。在汽车制造业中&#xff0c;它指的是按照客户需求和生产计划&#xff0c;生产一辆汽车所需的时间。这个时间是固定的&#xff0c;它决定了生产线上每个工序的操作速度和节奏&#xff0c;是生产线上所有…