论文阅读——Sat2Vid

Sat2Vid: Street-view Panoramic Video Synthesis from a Single Satellite Image

提出了一种新颖的方法,用于从单个卫星图像和摄像机轨迹合成时间和几何一致的街景全景视频。

即根据单个卫星图像和给定的观看位置尽可能真实地、尽可能一致地合成街景全景视频序列。

相关工作包括交叉视图合成(Cross-view synthesis)和视频合成以及神经渲染:

交叉视图合成的重点是从给定图像的一个完全不同的视角进行合成。目前该领域的大部分工作都是针对单幅图像的合成。一个非常典型的应用是从给定的卫星图像生成街景。

视频合成根据给定的输入有多种形式,大致可以分为以下三类。 (1) 无条件视频合成 , 通过将(空间)图像上的当前 GAN 框架进一步扩展到时间维度,从给定的输入随机变量生成视频剪辑。 (2)未来视频预测旨在根据目前的观察结果推断视频的未来帧。 (3) 视频到视频合成将视频从源域映射到目标域(例如,从一系列语义分割生成 RGB 图像)掩模或深度图像。

方法:

网络由多个子网络组成,负责在不同场景表示之间进行转换的三个处理阶段。

卫星阶段:输入的卫星图像由 2D U-Net 处理,生成具有相应语义的 2.5D 高度图。

转换阶段:为了获得 3D 表示,语义高度图被转换为语义体素占用网格。然后根据输入轨迹的采样点提取可见点。 

3D 到视频生成阶段:在 3D 域中运行的生成器从语义推断每个点的特征。级联的 SparseConvNet 和 RandLANet都具有沙漏结构,依次作用于粗略和精细生成。使用多类纹理编码器来计算输入卫星图像的多个潜在向量。

最后,具有级联特征的点云被投影到每一帧,最后使用轻量级网络进行上采样以使分辨率加倍。注:(1)3D-to-video生成阶段是在BicycleGAN[47]的框架下训练的; (2) 天空点包含在管道中,但此处未可视化; (3)特征用伪彩色表示。

Visible Points Extraction阶段:

与输入轨迹中的采样位置一起,我们创建仅包含可见点的点云并构建 3D-2D 对应关系。这对应于查找视频中每个像素的 3D 空间中的点的索引。每个像素都有唯一对应的3D点,并且3D空间中的每个点可以对应多个像素。相同的映射还将用于将彩色点云投影到视频帧上。

3D Generator:

在 3D 到视频生成阶段,我们首先从重投影语义推断 3D 空间中点云的特征。点的语义是根据每个点在水平面上的坐标从卫星语义中收集的。远处的点简单地标记为天空。所提出的 3D 生成器由 SparseConvNet和 RandLA-Net 组成,并具有级联连接。两个网络都纯粹在 3D 域中运行,并具有依次作用于粗略和精细生成的沙漏结构。最后,这些点被投影到帧上,这些帧通过轻量级上采样模块进一步转换为输出视频。

粗生成阶段基于体素。在此阶段开始时,首先根据目标体素大小对点云进行体素化。共享同一体素的多个点将被平均作为该体素的特征。在我们的实验中,体素大小设置为 3.125cm(每米 32 个体素)。 最后,网络的输出被去体素化为点云。同样,共享相同体素的点将被分配给相同的特征。

精细生成阶段基于点云。该阶段的输入是中间粗特征和来自跳跃连接的原始点语义的串联。

然后,视频帧中的每个像素根据变换阶段计算的点像素映射 M 从点云中的对应点收集粗略和精细特征。最后,上采样模块将分辨率加倍,将具有丰富特征的帧转换为输出RGB视频。

Multi-class Encoder:

我们使用多类纹理编码器来计算每个类的多个潜在向量,以丰富生成场景的多样性。我们的流程中使用的 BicycleGAN 中的编码器将地面真实街景 RGB 以及训练期间中心帧的语义作为输入。这里语义的作用是用于注意力池化的一个指标。获得整幅图像的特征图F后,编码器并不直接进行平均池化,而是对具有相同语义类别的像素的特征进行池化,最终获得多个潜在向量。

计算资源:a single Nvidia Tesla V100 GPU with 32GB memory.

实验结果:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/519942.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Python+Django+Html河道垃圾识别网页系统

程序示例精选 PythonDjangoHtml河道垃圾识别网页系统 如需安装运行环境或远程调试,见文章底部个人QQ名片,由专业技术人员远程协助! 前言 这篇博客针对《PythonDjangoHtml河道垃圾识别网页系统》编写代码,代码整洁,规…

如何编写属于自己的第一个exp

0x00 前言 在我们找到一个漏洞之后,可能会想着去fofa上搜语法进而扩大战果,而有些漏洞利用起来十分繁琐,这时候就需要一个exp来批量帮我们进行扫描工作,接下来就介绍一下如何进行exp的编写,这个过程中最重要的还是体现…

Docker简单介绍、特点、与虚拟机技术的区别、核心概念及在CentOS 7 中安装卸载Docker

目录 一、什么是Docker 二、特点 三、Docker与虚拟机技术的区别 四、Docker的核心概念 Docker仓库与仓库注册服务器的区别 五、CentOS7在线安装Docker 安装配置 卸载 一、什么是Docker Docker是一个开源的容器化平台,用于打包、部署和运行应用程序。它利用…

AI设计优化电机、电路与芯片?

一、AI进行电机本体设计 使用AI进行电机本体设计是一种前沿且具有潜力的方法,通过深度学习、强化学习、遗传算法等AI技术,可以实现电机设计的自动化和优化。具体应用可以包括以下几个方面: 此图片来源于网络 1. **参数优化**: …

硬件基础知识

CPU制作 cpu组成原理 CPU (Central Processing Unit - 中央处理单元): CPU 是计算机的核心,负责解释和执行程序指令以及处理数据。它由几个关键部分组成,如算术逻辑单元(ALU)、寄存器、和控制单元(CU)&…

游戏攻略|基于Springboot和vue的游戏分享平台系统设计与实现(源码+数据库+文档)

游戏攻略分享平台目录 基于Springboot的在线考试管理系统设计与实现 一、前言 二、系统设计 三、系统功能设计 1、前台: 2、后台 5.2.1管理员功能模块 四、数据库设计 五、核心代码 六、论文参考 七、最新计算机毕设选题推荐 八、源码获取: …

国际体育日,一起运动起来吧

今天是国际体育日,是时候动一动,燃烧我们的卡路里啦!说到运动,我得提提最近刚入手华为WATCH GT4,真心不赖! 这个手表特别适合喜欢运动的人,它有100的运动模式,无论你是喜欢跑步、…

数据结构初阶:顺序表和链表

线性表 线性表 ( linear list ) 是 n 个具有相同特性的数据元素的有限序列。 线性表是一种在实际中广泛使 用的数据结构,常见的线性表:顺序表、链表、栈、队列、字符串 ... 线性表在逻辑上是线性结构,也就说是连续的一条直线。但是在物理结构上并不一定是连续的, 线性…

Excel列匹配VLookUp功能使用

生活中很多关于excel多列数据进行匹配计算等场景,其中最常用的一个函数就是VLookUp了,下面直接上图: 得到结果如下: 得到结果如下: 注意: 1.在需要把计算完的数据粘贴到另一列或者另个sheet时,复制后,不要直接ctrlv粘贴,这样会把计算公式粘贴到对应的列.正确做法是:右键粘贴,选…

蓝桥杯每日一题:斐波那契(矩阵乘法)

在斐波那契数列中,Fib00,Fib11,FibnFibn−1Fibn−2(n>1) 给定整数 n,求 Fibnmod10000。 输入格式 输入包含不超过 100100 组测试用例。 每个测试用例占一行,包含一个整数 当输入用例 n−1时,表示输入终止,且该…

Python环境搭建—安装PyCharm开发工具

🥇作者简介:CSDN内容合伙人、新星计划第三季Python赛道Top1 🔥本文已收录于Python系列专栏: 零基础学Python 💬订阅专栏后可私信博主进入Python学习交流群,进群可领取Python视频教程以及Python相关电子书合…

JS详解-设计模式

工厂模式: 单例模式: // 1、定义一个类class SingleTon{// 2、添加私有静态属性static #instance// 3、添加静态方法static getInstance(){// 4、判断实例是否存在if(!this.#instance){// 5、实例不存在,创建实例this.#instance new Single…

rust项目组织结构和集成测试举例

概述 在学习rust的过程中,当项目结构略微复杂的时候,写集成测试的时候发现总是不能引用项目中的代码,导致编写测试用例失败。查阅了教程,一般举例都很简单。查阅了谷歌和百度以及ai,也没有找到满意的答案。这里记录一…

Spring Boot 接入 Redis

Spring Boot 接入 Redis 简介 Redis 是一种访问速度非常快的内存数据结构存储,用作数据库、缓存、消息代理和流引擎。提供 strings、hashes、lists、sets 等数据结构。可以解决会话缓存、消息队列、分布式锁、定期将数据集存储到硬盘等功能。 通过 Redis 设计实现…

win11 安全中心打开黑屏\白屏\打不开有效解决

文章目录 问题和解决思路解决方法 问题和解决思路 问题:在重装和或者初次安装系统后,win11安全中心无法成功启动解决思路:直接重装安全中心,解决问题(作者尝试了修复和重置的功能–无效)视频教程参考WIN11…

攻防世界:mfw[WriteUP]

根据题目提示考虑是git库泄露 这里在地址栏后加.git也可以验证是git库泄露 使用GitHack工具对git库进行恢复重建 在templates目录下存在flag.php文件&#xff0c;但里面并没有flag 有内容的只有主目录下的index.php index.php源码&#xff1a; <?phpif (isset($_GET[page…

Photoshop 2024 中文---专业图像处理软件的又一次飞跃

Photoshop 2024是一款功能强大的图像处理软件&#xff0c;广泛应用于创意设计和图像处理领域。它提供了丰富的绘画和编辑工具&#xff0c;包括画笔、铅笔、颜色替换、混合器画笔等&#xff0c;使用户能够轻松进行图片编辑、合成、校色、抠图等操作&#xff0c;实现各种视觉效果…

Nature正刊重磅!热带雨林正接近临界温度阈值:气候变化可能会使热带森林太热而无法进行光合作用

2023年8月23日&#xff0c;美国北亚利桑那大学生态信息学Doughty, Christopher E. 副教授及其研究组人员在国际知名学术期刊《Nature》发表了一项题为“Tropical forests are approaching critical temperature thresholds”的研究。提出了热带雨林正接近临界温度阈值的新见解。…

vivado 有关 SVF 链的操作

按正确顺序创建反映所有器件及其配置存储器的 SVF 链之后 &#xff0c; 即可开始向 SVF 链中的器件添加编程操作。 例如&#xff0c; 您可右键单击链中的赛灵思 a200t 器件 &#xff0c; 然后选择“添加器件编程操作 (Add Program Device Operation) ”对话 框&#xff0c; …

数据导出实践:Spring Boot实现高效的千万数据导出

当数据量达到千万级别时&#xff0c;传统的导出方式往往效率低下&#xff0c;甚至可能导致系统崩溃。 数据导出的挑战 在实现千万数据导出功能时&#xff0c;常常会面临以下挑战&#xff1a; 内存占用过高&#xff1a;传统的导出方式往往需要将所有数据加载到内存中&#xff0…