昱感微采用“多维像素”多模态融合技术,将可见光摄像头、红外摄像头、4D毫米波雷达/激光雷达的探测数据以“多维像素”的数据格式输出:图像数据+雷达探测数据+红外传感器探测数据叠加,以摄像头像素为颗粒度组合全部感知数据,形成多模态融合感知数据组合。
昱感微“多维像素”多模态感知方案的超级摄像头每秒可输出30帧(甚至更高频率)多模态融合感知数据,每一帧不仅有高清图像数据,还有对应像素级的目标精准3D空间位置坐标距离、速度、温度(目标热辐射)、对应材质(RCS)等数据。视频1为系统输出的“多维像素”数据中包含的8M分辨率可见光图像数据组成的图像视觉场景;视频2为“多维像素”中多模态感知数据构成的3D立体空间图像的展示视频,在这里面出现的每一个像素点都有完整的厘米级探测准确度的3D空间坐标值:
“多维像素”数据中包含的8M分辨率可见光图像数据组成的
3D立体空间图像的展示视频
请大家再次留意,这里面每帧(每个单帧)的图像就包含了丰富的3D空间位置信息。我们将其中的一帧截取出来,这个单帧数据的 3D空间效果展示如下:
单帧数据的 3D空间效果
昱感微“多模态多维感知”的“多维像素”原始数据 – 完成了像素级精细度的立体空间感知与量测。
同样,我们在马路上去取些数据,给大家展示。下图是“多模态多维感知”的“多维像素”包含的原始数据:
“多维像素“多模态感知效果
我们选取路边的辅道来展示“多维像素“多模态感知效果,是因为路边的辅道环境更复杂(例如路边的台阶、绿植、道路的弯曲以及路面的起伏、路面的障碍物等),自动驾驶系统需要区分路面上的树叶、废纸等小目标,以及石头、砖块等必须要避让的障碍物,而昱感微的“多维像素”多模态感知超级摄像头可以助力系统精准识别它们。再次强调:在这里面出现的任何一个像素点都有完整的厘米级探测准确度的3D空间坐标值。基于“多维像素”感知数据来做场景语义重构(体素Voxel,或者,立体连续表征3D Mesh),然后支持大数据模型,是最精准高效并节省算力的实现方法。