自动驾驶仿真(高速道路)LaneKeeping

前言

A high-level decision agent trained by deep reinforcement learning (DRL) performs quantitative interpretation of behavioral planning performed in an autonomous driving (AD) highway simulation. The framework relies on the calculation of SHAP values and takes into account neural architectures with attention layers. The framework is particularly dedicated to studying the relationship between attention and interpretability, and how attention and SHAP values can be represented, analyzed, and compared in a two-dimensional spatial highway environment. The framework has three main visualization areas, which are obtained by processing quantities of attention, SHAP values, vehicle observations, etc. : Episode View, which plots quantities on the timeline of the episode; Frame view, reporting measured values step by step; Aggregate view, which also displays statistics from aggregates of multiple simulated events on a 2D map.

LaneKeepingEnv环境的工作原理可以归纳如下:

  1. 初始化阶段
    • 环境在创建时,会调用__init__方法进行初始化。
    • 初始化过程中,会设置一些关键的属性,如lane(当前车道)、lanes(所有车道的列表)、trajectory(车辆的轨迹)等。
    • 环境的默认配置参数由default_config方法定义,这些参数包括观测类型、动作类型、模拟频率等。
  2. 配置参数
    • 观测类型设置为"AttributesObservation",意味着环境会观察车辆的某些属性,如状态、状态导数和参考状态。
    • 动作类型设置为"ContinuousAction",并且指定了转向范围(在-π/3到π/3之间),这意味着控制输入是连续的转向角,不涉及纵向控制。
    • 仿真频率和策略频率设置为10,表示每秒钟模拟10次并更新策略10次。
    • 还包括了噪声水平、屏幕大小和居中位置等参数,这些参数可能与环境的渲染和可视化有关。
  3. 步进过程
    • 在每一步中,环境会调用step方法。
    • step方法首先检查当前车辆是否仍在当前车道上。如果不在,它会从lanes列表中取出下一个车道,并设置为当前车道。
    • 然后,它会调用store_data方法(尽管该方法在给定的代码片段中未定义),但通常用于存储或更新车辆的轨迹、状态等信息。
    • 如果lpv(可能是车辆控制器)存在,step方法会使用当前动作(控制输入)和车辆状态来设置控制器的控制参数。这里,控制器的控制输入只包括车辆状态的子集,如横向位置和速度,以及相对于车道的偏角和偏角速度。
  4. 控制和仿真
    • 车辆在LaneKeepingEnv环境中的运动受控制器(如lpv)控制,控制器根据环境提供的观测数据和当前策略产生控制输入。
    • 环境会根据控制输入和车辆当前状态更新车辆的位置和状态,并可能渲染车辆在新位置的状态以供观察或评估。
  5. 总结
    • LaneKeepingEnv环境通过模拟车辆在车道上的运动,提供了一个用于测试车道保持控制策略的平台。
    • 环境通过提供观测数据、处理控制输入和更新车辆状态来模拟真实世界中的车道保持场景。
    • 通过与强化学习算法等结合,可以在该环境中训练和优化车道保持控制策略。

LaneKeepingEnv 环境通常包含以下几个功能模块:

  1. 初始化模块
    • 负责在环境创建时初始化所有必要的属性,如车道、车辆、观察空间、动作空间等。
    • 调用 __init__ 方法进行初始化,并可能包括读取配置文件或默认配置来设置参数。
  2. 配置模块
    • 定义环境的默认配置参数,如仿真频率、观察类型、动作类型、噪声水平等。
    • 通过 default_config 方法提供默认配置,并允许用户通过配置字典来自定义参数。
  3. 物理模拟模块
    • 负责模拟车辆的物理行为,包括根据控制输入更新车辆状态(位置、速度、加速度等)。
    • 可能使用车辆动力学模型(如 BicycleVehicle)来模拟车辆的横向和纵向运动。
  4. 车道模块
    • 定义和管理车道,包括直线车道和曲线车道(如 StraightLane 和 SineLane)。
    • 提供检查车辆是否在车道内的方法(如 on_lane)。
  5. 车辆模块
    • 定义和管理车辆对象,包括车辆的状态(位置、速度、加速度、偏角等)。
    • 提供获取车辆状态、设置控制输入和更新车辆状态的方法。
  6. 观测模块
    • 根据配置的观测类型,提供从环境中获取观测数据的方法。
    • 观测数据可能包括车辆的当前状态、状态导数、参考状态等。
  7. 动作模块
    • 定义动作空间,包括动作的类型(连续或离散)、范围和维度。
    • 提供将原始动作转换为环境可以理解的格式的方法(如缩放、裁剪等)。
  8. 渲染模块(可选):
    • 负责环境的可视化,包括渲染车辆、车道和其他相关元素。
    • 提供渲染环境状态到屏幕或窗口的方法,以便用户或评估系统可以观察环境的状态。
  9. 数据存储模块(可选):
    • 负责存储环境在仿真过程中产生的数据,如车辆的轨迹、状态、动作等。
    • 提供存储和检索数据的方法,以便后续分析和评估。
  10. 交互模块(可选):
    • 允许外部系统与环境进行交互,如接收控制输入、提供奖励信号等。
    • 提供与环境交互的接口,如 step 方法用于执行一步仿真并返回结果。

LaneKeepingEnv环境中,模块之间的通讯通常通过函数调用和属性访问来实现。以下是一个简化的例子,说明这些模块如何相互通讯:

1. 初始化模块

  • 功能:设置所有模块的初始状态。
  • 通讯
    • 调用物理模拟模块的初始化函数,设置物理参数。
    • 调用车道模块的初始化函数,创建初始车道。
    • 调用车辆模块的初始化函数,设置车辆的初始状态。

2. 物理模拟模块

  • 功能:模拟车辆的物理行为。
  • 通讯
    • 接收来自车辆模块的车辆当前状态(如位置、速度、加速度)。
    • 根据接收到的控制输入(来自动作模块)和车辆当前状态,更新车辆状态。
    • 将更新后的车辆状态返回给车辆模块。

3. 车道模块

  • 功能:管理车道信息。
  • 通讯
    • 提供车道信息(如车道边界、车道中心线)给物理模拟模块,用于车辆状态更新。
    • 提供检查车辆是否在车道内的方法给车辆模块或物理模拟模块。

4. 车辆模块

  • 功能:管理车辆状态。
  • 通讯
    • 提供车辆当前状态给物理模拟模块进行模拟。
    • 接收物理模拟模块更新后的车辆状态,并更新自身状态。
    • 提供车辆状态给观测模块,用于生成观测数据。

5. 观测模块

  • 功能:根据配置生成观测数据。
  • 通讯
    • 接收车辆模块提供的车辆状态。
    • 根据配置(如观察类型、噪声水平等),生成对应的观测数据。
    • 将观测数据提供给外部系统(如强化学习算法)。

6. 动作模块

  • 功能:定义动作空间,处理原始动作。
  • 通讯
    • 提供动作空间信息给外部系统(如强化学习算法),使其知道如何生成有效的控制输入。
    • 接收外部系统生成的原始动作,并根据配置将其转换为环境可以理解的控制输入(如缩放、裁剪)。
    • 将控制输入提供给物理模拟模块,用于更新车辆状态。

7. 渲染模块(可选)

  • 功能:可视化环境状态。
  • 通讯
    • 接收车辆模块提供的车辆状态。
    • 接收车道模块提供的车道信息。
    • 根据这些信息渲染环境状态到屏幕或窗口。

8. 数据存储模块(可选)

  • 功能:存储仿真过程中产生的数据。
  • 通讯
    • 接收物理模拟模块提供的车辆轨迹、状态等信息。
    • 接收动作模块提供的控制输入。
    • 将数据存储到文件、数据库或其他存储介质中。

9. 交互模块(可选)

  • 功能:允许外部系统与环境进行交互。
  • 通讯
    • 提供step方法给外部系统,接收控制输入并返回下一步的观测数据、奖励等。
    • 可能还需要提供其他接口,如重置环境、获取环境状态等。

aneKeepingEnv类是一个用于车道保持控制任务的模拟环境,它继承自AbstractEnv类。车道保持是自动驾驶和车辆控制中的一个重要任务,它要求车辆能够保持在车道内行驶。

以下是该类的一些主要部分和功能的解释:

  1. 初始化 (__init__ 方法):

    • 初始化环境时,它设置了几个关键的属性,如lane(当前车道)、lanes(所有车道的列表)、trajectory(车辆的轨迹)、interval_trajectory(可能用于存储某个时间间隔内的轨迹)和lpv(可能是某种车辆控制器的引用,但从给出的代码片段中无法确定其完整含义)。
  2. 默认配置 (default_config 方法):

    • 这个方法定义了环境的默认配置参数。这些参数包括观测类型、动作类型、模拟频率、策略频率、噪声水平、屏幕大小、缩放比例和居中位置等。
    • 观测类型设置为"AttributesObservation",并指定了要观察的属性(如车辆状态、状态导数和参考状态)。
    • 动作类型设置为"ContinuousAction",并指定了转向范围(在-π/3到π/3之间)和动作是否涉及纵向或横向控制(这里只考虑横向控制)。
  3. 步进 (step 方法):

    • 这个方法定义了环境在每一步中的行为。
    • 首先,它检查当前车辆是否仍在当前车道上。如果不在,它会从lanes列表中取出下一个车道,并设置为当前车道。
    • 然后,它调用store_data方法(该方法在给定的代码片段中未定义,但可能用于存储或更新车辆的轨迹、状态等信息)。
    • 最后,如果lpv(可能是车辆控制器)存在,它会使用当前动作(控制输入)和车辆状态来设置控制器的控制参数。这里,控制器的控制输入似乎只包括车辆状态的子集(从给定的代码来看,它只考虑了车辆的横向位置和速度,以及相对于车道的偏角和偏角速度)。

自动驾驶任务环境

  1. 公路驾驶:代理在包含多车道和其他车辆的高速公路上行驶,目标是保持高速并避免碰撞。
  2. 合并:代理在主干道上行驶时,需要为从入口匝道驶入的车辆腾出空间,确保安全合并。
  3. 环形交叉:代理需要快速通过环形交叉路口,同时处理变道和纵向控制以避免碰撞。
  4. 停车:代理需要停在指定区域内,同时确保适当的航向。
  5. 路口:在交通密集的交叉口进行协商。
  6. 跑道:涉及车道保持和避障的连续控制任务。

代理类型

  1. 深度Q网络(DQN):使用神经网络表示状态-动作值函数Q,并通过Q学习进行训练。
  2. 深度确定性策略梯度(DDPG):基于策略的无模型强化学习代理,通过梯度上升进行优化,并使用经验回放来提高学习效率。
  3. 值迭代:与有限离散马尔可夫决策过程(MDP)兼容,通过简化状态表示和过渡模型来计算最佳状态-值函数。
  4. 蒙特卡洛方法:利用过渡和奖励模型执行最佳轨迹的随机树搜索。

框架特点

  • 可视化:提供三种可视化区域(Episode View、Frame View、Aggregate View),用于展示注意力、SHAP值、车辆观测等信息的处理结果。
  • 注意力与可解释性:研究注意力机制在提高代理决策可解释性中的作用,并通过SHAP值分析代理的决策过程。
  • 环境多样性:支持多种自动驾驶任务环境,包括公路、合并、环形交叉等,以评估代理在各种场景下的性能。

深度Q网络(DQN)

深度Q网络(Deep Q-Network, DQN)结合了深度学习的感知能力和Q-learning的决策能力。DQN使用一个深度神经网络来近似Q值函数,从而能够在高维状态空间中学习有效的策略。

原理
  • 神经网络:DQN使用一个深度神经网络来估计Q值,即给定一个状态s和一个动作a,网络输出一个Q值Q(s, a)。
  • 经验回放(Experience Replay):DQN使用一个经验回放缓冲区来存储智能体的经验(状态、动作、奖励、下一个状态),然后从缓冲区中随机采样一批经验来训练网络。这有助于打破数据之间的相关性,使训练更加稳定。
  • 目标网络(Target Network):DQN使用两个结构相同的网络,一个用于估计当前的Q值(当前网络),另一个用于估计目标Q值(目标网络)。目标网络使用旧的网络参数进行更新,而不是直接复制当前网络的参数,这有助于稳定训练。​​​​​​​
import torch  
import torch.nn as nn  
import torch.optim as optim  
  
class DQN(nn.Module):  
    def __init__(self, state_size, action_size):  
        super(DQN, self).__init__()  
        self.fc1 = nn.Linear(state_size, 24)  
        self.fc2 = nn.Linear(24, 24)  
        self.fc3 = nn.Linear(24, action_size)  
  
    def forward(self, x):  
        x = torch.relu(self.fc1(x))  
        x = torch.relu(self.fc2(x))  
        return self.fc3(x)  
  
# 实例化网络、优化器等  
dqn = DQN(state_size, action_size)  
optimizer = optim.RMSprop(dqn.parameters())  
criterion = nn.MSELoss()  
  
# 训练步骤(此处省略)

值迭代

值迭代是一种经典的强化学习算法,用于求解有限马尔可夫决策过程(MDP)的最优策略。然而,值迭代通常不直接使用深度神经网络,因为它基于表格形式的状态和动作值函数。但这里可以描述如何在简化后的状态空间中应用值迭代。

原理
  • 状态表示:在自动驾驶中,状态可能包括车辆的位置、速度、周围车辆的位置和速度等。为了应用值迭代,需要将这些连续的状态空间离散化或简化为有限的状态集合。
  • 值迭代更新:对于每个状态s,值迭代通过迭代地更新状态值函数V(s)来找到最优策略。更新公式通常基于Bellman方程。
# 假设已经定义了一个有限的状态集合states、动作集合actions、转移模型P和奖励函数R  
  
V = {s: 0 for s in states}  # 初始化状态值函数为0  
  
for _ in range(num_iterations):  
    V_new = V.copy()  
    for s in states:  
        V_new[s] = max(sum(P[s][a][s_prime] * (R[s][a][s_prime]

自动驾驶和战术决策任务环境的集合开发和维护.

环境

公路

在这项任务中,自我车辆在充满其他车辆的多车道高速公路上行驶。智能体的目标是达到高速,同时避免与相邻车辆发生碰撞。在道路右侧行驶也会触发。

此外,还提供更快的变体 ,其模拟精度降低,可提高大规模训练的速度。

合并

在这项任务中,自我车辆在主干道上起步,但很快接近入口匝道上驶入车辆的路口。代理商现在的目标是保持高速,同时为车辆腾出空间,以便它们可以安全地并入交通。

环形交叉

在这项任务中,自我车辆如果接近交通畅通的环形交叉路口。它将自动遵循其计划的路线,但必须处理变道和纵向控制,以尽可能快地通过环形交叉路口,同时避免碰撞。


 

停车

一项以目标为条件的连续控制任务,其中自我车辆必须以适当的航向停在给定的空间内。


 

路口

交通密集的交叉口协商任务。


 

跑道​​​​​​​

涉及车道保持和避障的连续控制任务。


 

示例

深度Q

DQN 

这种基于无模型值的强化学习代理使用神经网络来表示状态动作值函数 Q,通过函数近似执行 Q 学习。

深度确定性梯度


DDPG 

这种基于策略的无模型强化学习代理直接通过梯度上升进行优化。它使用事后诸葛亮体验回放来有效地学习如何解决目标条件。

值迭代


值迭代

值迭代仅与有限离散 MDP 兼容,因此环境首先由 env_mdp() 的有限 MDP 环境近似。这种简化的状态表示根据道路每条车道上的预测碰撞时间 (TTC) 来描述附近的交通。过渡模型很简单,假设每辆车在不改变车道的情况下保持恒定速度行驶。这种模型偏差可能是错误的根源。

然后,代理执行值迭代以计算相应的最佳状态-值函数。

蒙特卡洛

该智能体利用过渡和奖励模型来执行最佳轨迹的随机树搜索。对状态表示或转换模型不需要特定的假设。


 

   if self.speed_range:
            (
                self.controlled_vehicle.MIN_SPEED,
                self.controlled_vehicle.MAX_SPEED,
            ) = self.speed_range
        if self.longitudinal and self.lateral:
            return {
                "acceleration": utils.lmap(action[0], [-1, 1], self.acceleration_range),
                "steering": utils.lmap(action[1], [-1, 1], self.steering_range),
            }
        elif self.longitudinal:
            return {
                "acceleration": utils.lmap(action[0], [-1, 1], self.acceleration_range),
                "steering": 0,
            }
        elif self.lateral:
            return {
                "acceleration": 0,
                "steering": utils.lmap(action[0], [-1, 1], self.steering_range),
            }


 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/688240.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Go微服务: 基于使用场景理解分布式之二阶段提交

概述 二阶段提交(Two-Phase Commit,2PC)是一种分布式事务协议,用于在分布式系统中确保多个参与者的操作具有原子性即所有参与者要么全部提交事务,要么全部回滚事务,以维持数据的一致性它分为两个阶段进行&…

3038. 相同分数的最大操作数目 I

题目 给你一个整数数组 nums,如果 nums 至少包含 2 个元素,你可以执行以下操作: 选择 nums 中的前两个元素并将它们删除。一次操作的分数是被删除元素的和。 在确保所有操作分数相同的前提下,请你求出最多能进行多少次操作。 …

数字IC后端物理验证PV | TSMC 12nm Calibre Base Layer DRC案例解析

基于TSMC 12nm ARM A55 upf flow后端设计实现训练营将于6月中旬正式开班!小班教学!目前还有3个名额,招满为止!有需要可以私信小编 ic-backend2018报名。吾爱IC社区所有训练营课程均为直播课! 这个课程支持升级成双核A…

李廉洋:6.7黄金亚盘洗盘暴跌,美盘最新分析策略。

黄金消息面分析:美联储降息可能是经济出现麻烦的信号。自去年10月以来,美国股市一直在上涨,原因是尽管利率持续走高,但美国经济和企业盈利仍保持强劲。如果市场对2024年下半年降息的信心增强,那么硬着陆的可能性就会增…

python-df的合并与Matplotlib绘图

1 数据连接 concat merge join (append 作为了解) append 竖直方向追加, 在最新的pandas版本中已经被删除掉了, 这里推荐使用concat 1.1 pd.concat 两张表, 通过行名、列名对齐进行连接 import pandas as pd df1 …

MS1112驱动开发

作者简介: 一个平凡而乐于分享的小比特,中南民族大学通信工程专业研究生在读,研究方向无线联邦学习 擅长领域:驱动开发,嵌入式软件开发,BSP开发 作者主页:一个平凡而乐于分享的小比特的个人主页…

【电路笔记】-分贝

分贝 分贝是以 10 为底的对数比,用于表示电路中功率、电压或电流的增加或减少。 1、概述 一般来说,分贝是响度的度量。 在设计或使用放大器和滤波器电路时,计算中使用的一些数字可能非常大或非常小。 例如,如果我们将两个放大器级级联在一起,功率或电压增益分别为 20 和…

嵌入式Linux系统编程 — 2.1 标准I/O库简介

目录 1 标准I/O库简介 1.1 标准I/O库简介 1.2 标准 I/O 和文件 I/O 的区别 2 FILE 指针 3 标准I/O库的主要函数简介 4 标准输入、标准输出和标准错误 4.1 标准输入、标准输出和标准错误概念 4.2 示例程序 5 打开文件fopen() 5.1 fopen()函数简介 5.2 新建文件的权限…

全程自动化操作 自动生成图文发布,矩阵批量软件系统 日产1-3万篇

一、简介 图文发布对于现代网站运营至关重要,然而手动创建和发布图文内容效率低下且易出错。全自动化图文生成发布流程可以解决这个问题。本文将详细说明如何以编程方式实现这一流程。 二、模块设计 该流程主要包含三个模块:图像生成,文本生成…

前端解析文件流格式数据异常时并给提示

把后端返回的文件流格式转换成正常数据格式 断点调试返回值 network查看返回值 一、blob类型 let stringData:any await this.blobToString(res); blobToString(blob) { return new Promise((resolve, reject) > { const reader new FileReader(); reader.onloadend (…

通过U盘将第三方软件安装到各大品牌电视的方法

在本教程中,小武给大家整理了通过U盘的方式安装第三方软件到电视盒子上,可直接使用通用U盘的方式来进行安装。 如果您相应电视品牌按通用方式无法完成需求,下面为您也贴心整理了20款主流智能电视和电视盒子的U盘安装指南。这些步骤适用于小米…

Vxe UI vxe-form 实现折叠表单,当表单很多时实现自动收起与展开

Vxe UI vue vxe-form 实现折叠表单&#xff0c;当表单很多时实现自动收起与展开 代码 folding 用于将当前表单项设置为默认隐藏 collapse-node 设置折叠按钮&#xff0c;加上之后会自动在该表单项的右侧显示一个折叠按钮 <template><div><vxe-formtitle-colo…

c++ EECS280

Introduction Euchre (pronounced “YOO-kur”) is a card game popular in Michigan. The learning goals of this project include Abstract Data Types in C, Derived Classes, Inheritance, and Polymorphism. You’ll gain practice with C-style Object Oriented Progr…

操盘手专栏 | 0-1搞懂TikTok广告优化该怎么玩!

如果你正想要或计划投放TikTok广告来提高杠杆效益&#xff0c;是否有面临下面的难题&#xff1a; 难找到系统的TikTok投放知识&#xff1f; 不懂得如何制定广告计划&#xff1f; 投放效果怎样才算有效优化&#xff1f; ...... 为此&#xff0c;超店有数邀请到了拥有8年营销…

新媒体暴力起号必备因素!沈阳新媒体运营培训学校

1周涨粉10w&#xff1f;这对普通人来说可以说是天文数字&#xff0c;但只要掌握方式方法&#xff0c;普通人也能做到&#xff01; 面试经验丰富的人都深知&#xff0c;给面试官留下的第一印象相当重要&#xff0c;几乎决定了80%的面试机会。标题也是如此&#xff0c;在完成一篇…

华为面经整理

文章目录 实习第一面准备提问相关算法相关 第一面结果提问环节 总结 实习 第一面准备 提问相关 操作系统有哪些功能 进程管理&#xff1a; 进程调度、进程同步和通信、多任务处理 内存管理&#xff1a; 内存分配、虚拟内存技术、内存保护 文件系统管理&#xff1a; 文件存储…

达梦8 网络中断对系统的影响

测试环境&#xff1a;三节点实时主从 版本&#xff1a;--03134283938-20221019-172201-20018 测试1 系统没有启动确认监视器 关闭节点3网卡 登录节点1检查主库状态 显示向节点2发送归档成功&#xff0c;但无法收到节点3的消息&#xff0c;节点1挂起 日志报错如下&#xf…

Java和Web前端哪个有发展前景?

Java和Web前端都是当今技术行业里的热门岗位&#xff0c;岗位招聘需求量大&#xff0c;人才竞争度高&#xff0c;同学们掌握这两个岗位里其中任何一个的相关主流技术&#xff0c;都可以找到一份不错的职位。下面请允许笔者做一个简要的分析阐述&#xff1a; 一、Web前端 Web前…

算法题--华为od机试考试(围棋的气、用连续自然数之和来表达整数、亲子游戏)

目录 围棋的气 题目描述 输入描述 示例1 输入 输出 解析 答案 用连续自然数之和来表达整数 题目描述 输入描述 输出描述 示例1 输入 输出 说明 示例2 输入 输出 解析 答案 亲子游戏 题目描述 输入描述 输出描述 示例1 输入 输出 说明 示例2 输入…

plsql导入excel

1.建临时表&#xff1a;&#xff08;字段对应excel表头&#xff09; create table temp_old_table(atomname nvarchar2(4000), --原子名称koujingname nvarchar2(4000) --供应商名称);2.Plsql–>工具&#xff08;tool&#xff09;–>ODBC导入器&#xff08;ODBC Impo…