元矿山下的音视频应用

  //  

近年来,矿业的技术和管理模式随着元宇宙的火爆和自动驾驶技术的发展逐渐变化、升级,进而衍生出元矿山的概念,音视频技术也在其中成为了关键一环。LiveVideoStackCon 2023 上海站邀请了来自希迪智驾的任思亮,为大家分享希迪智驾的元矿山建设历程以及音视频技术在元矿山体系中的应用。

文/任思亮

整理/LiveVideoStack

大家好,我是来自希迪智驾的任思亮,主要从事自动驾驶技术研发和产品的落地。大家对希迪智驾可能还比较陌生,因此接下来先对我们的企业进行一个简要介绍。

-01-

企业介绍

3ca22a23ddc43a740b82ea3beb17bb82.png

希迪智驾成立于2017年,又名长沙智能驾驶研究院有限公司,它是由大疆创新前董事长李泽湘教授创立的一家独角兽公司,云鲸科技、正浩EcoFlow和Zuvi原里等企业同为李教授创业体系下的孵化公司。

e1ad7c6f0150f6448484aad73db57c9d.png

希迪智驾当前的员工规模超过500人,其中研发团队占比近70%,团队博士、硕士占比超过40%,是一家以技术研发为核心驱动力的科技公司。

e8d763603162a6a9943177817741f4a5.png

我们的主营业务围绕自动驾驶板块,涵盖园区物流车、清扫车、港口集卡和矿用卡车等封闭环境下法定允许的无人驾驶技术以及保障无人车辆安全的智能V2V、V2X车联网技术。

-02-

 元矿山介绍

03001a5405632f92bd1ab5773069b261.png

近两年矿用卡车自动驾驶需求的增长催生了希迪智驾的云矿山理念。而无人驾驶矿卡的诞生具体要从一场社会事件说起。大家可能对2023年2月内蒙古阿拉善左旗新井煤矿的坍塌事故有所了解,至今还有47名工友被掩埋在几十米深的地下。

6aeabbe7ef1fe5c3a824dcdd52896b82.png

传统矿业在占据国民经济重要地位的同时,也存在高风险、高能耗、从业者老龄化和工作效率低等挑战。

e05d5f623d1248f5d8e8e62c47e43160.png

希迪智驾在充分调研矿业当前痛点的基础上推出了自主研发的无人驾驶纯电矿卡,它结合智能调度系统、V2X车路协同系统和远程驾驶系统等技术助力智慧矿山建设,也是希迪智驾元矿山体系的主要组分。上图展示了我们正式向江苏省句容市台泥矿区交付的14辆实车。

923fb88b80e23b1f800a926ea7e67687.png

自2022年9月起,句容矿区实现常态化无安全员生产作业。

7df5df62fac2f5535bc0fcc442020203.png

我们的无人驾驶矿卡是全国唯一经国家计量科学院认证超过人工效率的自动驾驶系统。按单车的装载量计算,它的自动驾驶效率是人工的1.04倍。

38e8f0518958e45fa18d534c897efe2a.png

综合考虑车辆维护、能源、人工等因素,有人驾驶柴油矿卡的运行成本是自动驾驶的8.6倍。

6bd2d299e48c7aed5f341081c143999f.png

上图展示了我们的元矿山“车-路-云”整体解决方案,从挖掘机装载、矿产运输、破碎站卸载到停车场充电一整套流程全部实现了无人化。该方案的落地使20到30人规模的传统矿场可将运营人员压缩至2到3人,无人化车辆的日常管理工作可以全部在调度中心完成。

0389496f8f4e40647c8e2f916a6e8c79.png

上图展示了无人矿卡动态装载的实地演示效果,车辆可随着矿场挖掘作业面的不断变化动态调整装载停车位置,这也是元矿山体系的关键环节。

cca02c51ac6588633e386b8853a91926.png

运输过程中,无人车辆的均匀碾压功能可以避免重复碾压路面造成深车辙,有利于保持道路平整,降低维护成本。

c3130d9c8367f4ac704a6135b24b1ae4.png

相对于传统矿场,元矿山无人矿卡支持全天候自动驾驶运行,进一步提高了工作效率。

31e5cd0fefc65d2184f205a8b212f13f.png

在音视频技术运用方面,首先为了应对自动驾驶可能难以处理的少数场景,我们借助腾讯云的低延时传输协议落地了远程驾驶方案,可使驾驶舱端到车辆的指令延时低于100毫秒,保证舱端操作员基本感受不到延迟。

该方案还包括一键修坡,动态归位、防碰撞等L2级驾驶功能,舱端的显示器应用了我们自研的裸眼3D算法,可以逼真显示车身前方的障碍环境,有助于提升工作效率。

除了矿卡外,该方案还可应用于挖掘机、钻机、转载机或炸药安放机器人,进一步保证生产安全,实现作业无人化。

aab8f3612e14ee9ac227872f3d7d36b2.png

接下来展示几个远程驾驶的实际运用场景。如上图所示,车辆自动行驶中如果遇到无法避让的障碍物,则可切换为远程驾驶模式处理。

d5b9ecf1bf11312de711a0adf6dba6da.png

上图展示了无人驾驶技术在甘肃金川二矿地下1000米环境下的实际应用,驾驶员可通过远程驾驶舱屏幕实时掌握车辆位置,保证了安全生产。

d7f6719a41c096e1cdad3ee6be765471.png

结合V2X车路协同和自动驾驶技术,我们在重庆涪陵大业建材矿山落地了30台无人驾驶纯电矿卡与有人车的混编生产运输。充分运用V2X系统的感知能力,可以实现无人车辆在封闭环境下L3、L4,乃至L5级自动驾驶。

5312a82782cccfe6fccb17337a293d0e.png

上图展示了远程驾驶技术在清扫车和港口集卡场景的应用。

7f7efed62a2c2b3ea2da97bea9c2592e.png

类似VR眼镜之于元宇宙,我们希望远端驾驶舱也能成为元矿山的入口,从而助力改善工作环境。

e304e06757e7236676ecf6f20d39b5e2.png

通过自动驾驶+远程驾驶,我们希望年轻人可以“舒适、游戏化”地进行远程工作,解决传统矿业高风险、招工难等等问题。

ebe2e04a8f531bf66d448115710662d6.png

音视频技术在元矿山体系中的第二个应用为网页直播,它主要用于对外宣传、客户讲解和矿场无人监控等等场景。上图为无人监控场景的演示效果,运营人员通过监控画面可实时查看车辆前方环境、行驶轨迹、速度、档位、装载模式和运输里程等等信息,其中左图黄线代表的行驶边界可借助车身雷达动态探测现场环境进行实时更新。

346a80355a10534a99a457421e998b8e.png

音视频技术在元矿山体系的第三个应用为图像识别。不同于特斯拉运用图像识别进行车载决策,我们更多将其用于增加车辆的安全冗余,通过毫米波雷达、激光雷达、视觉、超声雷达等多种传感器感知融合,综合几种传感器的优势实现车身360度范围,前方100米的行人、车辆和石块等障碍物稳定感知。

40c87624312b8e1caf291ea65be13a50.png

如上图所示,我们通过融合2D视觉图像和3D SLAM点云建图完成障碍物识别,有效节约了CPU资源。

6739ae063351f56446e0b1919be4bff3.png

上图展示了图像识别的实地效果,受矿区灰尘和雾霾等恶劣天气因素影响,它并不是主要的障碍物识别手段。雾霾等恶劣天气下的图像识别检测也是我们当前面临的一大技术挑战。

20490084f91c8fce99aec4a872a98986.png

我们的360度智能环视系统可实时采集车身周围的高清视频画面形成三维全景图,同时可检测弱势交通参与者并分级预警,提供行车轨迹指引,保证行车安全。

b7ead9e6967050ef53ccffd2eed1c60a.png

音视频技术在元矿山体系的第四个应用为视觉定位。它类似于前面提到的融合感知,针对隧道等传统GPS+IMU方案难以精准定位的场景,通过摄像头预扫描环境特征并建立SLAM点云地图,依据车辆行驶时与周围特征点的位置关系来实现定位。但该方案在高速公路等车辆两侧景物高度相近的场景下并不适用,实际工作中我们一般采用GPS+IMU、RTK差分定位和视觉定位的组合方案。

-03-

项目案例

b5a8c267666c027012f55614196de9b5.png

最后向大家介绍几个项目案例,首先是甘肃金川二矿金属矿山,它是国内最大的镍矿,作业环境位于地下1000米以下,无人驾驶矿卡的交付极大改善了矿区人员的工作环境。

46be16c2414b3a07e5f79950b1ba791b.png

2022年8月,我们向大同冀东水泥矿山交付了4台无人驾驶纯电矿卡及配套系统,矿区已进入常态化生产。

8d9650c9c2a6064afa716d1622d26436.png

我们的无人驾驶纯电矿卡一般适用于水泥矿等砂石骨料矿区的运输,这是由于矿卡在砂石骨料自上而下的运输过程中可以进行动能回收,有利于降本增效。

cbd8a4d298cdbc8cac026b2cd448209c.png

重庆涪陵大业建材矿山无人驾驶矿卡项目是当前国内最大的纯电宽体车自动驾驶项目。2023年3月已交付了10台实车并完成了试运行。

aaa1910b3dbf3fb4623b9f0225fccc5d.png

江苏句容台湾水泥矿区的14台无人纯电矿卡完成部署仅用时3个月,目前已实现7x24全天候无人运行。

我们元矿山的最终目标是实现可以远程采矿的矿山,而我们的愿景是让天下没有难采的矿。我今天的分享就到这里,谢谢大家。


094aced9ba333cd3f7dc62dc89109368.png

扫描图中二维码或点击“阅读原文 

直通LiveVideoStackCon 2023深圳站 8折购票通道

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/91150.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

算法通过村第三关-数组黄金笔记|数组难解

文章目录 前言数组中出现超过一半的数字数组中只出现一次的数字颜色的分类问题(荷兰国旗问题)基于冒泡排序的双指针(快慢指针)基于快排的双指针(对撞指针) 总结 前言 提示:苦不来自外在环境中的人、事、物,…

yolov8热力图可视化

安装pytorch_grad_cam pip install grad-cam自动化生成不同层的bash脚本 # 循环10次,将i的值从0到9 for i in $(seq 0 13) doecho "Running iteration $i";python yolov8_heatmap.py $i; done热力图生成python代码 import warnings warnings.filterwarn…

使用秘籍|如何实现图数据库 NebulaGraph 的高效建模、快速导入、性能优化

本文整理自 NebulaGraph PD 方扬在「NebulaGraph x KubeBlocks」meetup 上的演讲,主要包括以下内容: NebulaGraph 3.x 发展历程NebulaGraph 最佳实践 建模篇导入篇查询篇 NebulaGraph 3.x 的发展历程 NebulaGraph 自 2019 年 5 月开源发布第一个 alp…

【Spring MVC】

目录 🍮1 什么是 MVC ? 🎁2 Spring MVC 的连接 🍘2.1 RequestMapping 实现 POST 和 GET 请求 🥣2.2 GetMapping 只支持 GET 请求 🫖2.3 PostMapping 只支持 POST 请求 🍬3 Spring MVC 获取参数的…

创建本地镜像

通过前面文章的阅读,读者已经了解到所谓的容器实际上是在父镜像的基础上创建了一个可读写的文件层级,所有的修改操作都在这个文件层级上进行,而父镜像并未受影响,如果读者需要根据这种修改创建一个新的本地镜像,有两种…

Smartbi电子表格软件版本更新,首次推出Excel轻应用和语音播放

Smartbi电子表格软件又又又更新啦! 此次更新,首次推出了新特性——Excel轻应用和语音播报。另外,还对产品功能、Demo示例、配套文档进行了完善和迭代。 低代码开发Excel轻应用 可实现迅速发布web应用 业务用户的需求往往都处于“解决问题”…

APP调用bindService的跨进程调用过程

app执行bindService时会经过如下8次跨系统进程调用过程: 第1步:通过AMS.getService跨进程调用 第2步:AMS返回它的IBinder 第3步:通过AMS的IBinder调用AMS的bindService方法 第4步:而AMS存放有Server端的IBinder&…

ChatGPT在医疗系统的应用探索动态

注意:本信息仅供参考,发布该内容旨在传递更多信息的目的,并不意味着赞同其观点或证实其说法。 生成式人工智能,如OpenAI开发的ChatGPT,被认为是可以颠覆医疗行业的工具。尽管该技术刚刚起步,但已有许多医…

Vue2向Vue3过度Vuex核心概念mutations

目录 1 核心概念-mutations1.定义mutations2.格式说明3.组件中提交 mutations4.练习5.总结 2 带参数的 mutations1.目标:2.语法2.1 提供mutation函数(带参数)2.2 提交mutation 3 练习-mutations的减法功能1.步骤2.代码实现 4 练习-Vuex中的值…

kettle实现爬虫

步骤概览 获取请求 请求地址 东方财富网股票请求 自定义常量数据 获取HTTP请求之前,必须先定义一个URL常量作为HTTP client的输入 HTTP client 注:此处得到的数据并不是原生的json字符串,自己可以用文本文件输出测试以下。如下图 JavaScri…

Vue2向Vue3过度核心技术路由

目录 1 路由介绍1.思考2.路由的介绍3.总结 2 路由的基本使用1.目标2.作用3.说明4.官网5.VueRouter的使用(52)6.代码示例7.两个核心步骤8.总结 3 组件的存放目录问题1.组件分类2.存放目录3.总结 4 路由的封装抽离5 Vue路由-重定向1.问题2.解决方案3.语法4…

谈谈子网划分的定义、作用、划分方式以及案例

个人主页:insist--个人主页​​​​​​ 本文专栏:网络基础——带你走进网络世界 本专栏会持续更新网络基础知识,希望大家多多支持,让我们一起探索这个神奇而广阔的网络世界。 目录 一、子网划分的定义 二、子网掩码的作用 1、…

林业气象站——林业种植气象观测

林业气象站是一种用于观测林区气象环境的仪器,能够观测林区天气、土壤等自然环境参数(温度、湿度、风速、风向、降雨量、气压、放射线、土壤湿度等),为开展环境观测、天气预报、灾害预警、林区虫害防治起到综合指导作用。 林业气…

Unity中的数学基础——贝塞尔曲线

一:前言 一条贝塞尔曲线是由一组定义的控制点P0到 Pn,n1为线性,n2为二次......第一个和最后一个控制点称为起点和终点,中间的控制点一般不会位于曲线上 获取两个点之间的点就是通过线性插值( Mathf.Lerp&#xff09…

基于Python+djangoAI 农作物病虫害预警系统智能识别系统设计与实现(源码&教程)

1.背景 随着科技的发展,机器学习技术在各个领域中的应用越来越广泛。在农业领域,机器学习技术的应用有助于提高农作物的产量和质量,降低农业生产的成本。本文针对农作物健康识别问题,提出一种基于机器学习方法的农作健康识别系统&…

FOC之SVPWM学习笔记

一、参考资料 【自制FOC驱动器】深入浅出讲解FOC算法与SVPWM技术 - 知乎FOC入门教程_zheng是在下的博客-CSDN博客DengFOC官方文档技术干货 |【自制】FOC驱动板SVPWM_扇区判断_时间计算_哔哩哔哩_bilibili 二、FOC控制算法流程框图 在FOC控制中主要用到三个PID环,从内…

picGo+gitee+typora设置图床

picGogiteetypora设置图床 picGogitee设置图床下载picGo软件安装picGo软件gitee操作在gitee中创建仓库在gitee中配置私人令牌 配置picGo在插件设置中搜索gitee插件并进行下载 TyporapicGo设置Typora 下载Typora进行图像设置 picGogitee设置图床 当我了解picGogitee可以设置图床…

基础论文学习(2)——DETR

目标检测 DETR:End-to-End Detection with Transformer detr是facebook提出的引入transformer到目标检测领域的算法,效果很好,做法也很简单,相较于RCNN和YOLO系列算法,避免了Proposal/AnchorNMS的复杂流程。 1. detr…

网络安全在医疗行业中的重要性

不可否认,现代世界见证了技术和医疗行业的交织,塑造了我们诊断、治疗和管理健康状况的新方式。随着电子健康记录取代纸质文件,远程医疗缩短了患者和医疗服务提供者之间的距离,数字化转型既是福音,也是挑战。最近的全球…