《Posterior Collapse and Latent Variable Non-identifiability》

看起来像一篇很有用的paper,而且还是23年的
没看完 后边看不懂了

Abstract

现有的解释通常将后验崩塌归因于由于变分近似而使用神经网络优化问题
而本文认为后验崩塌是潜在变量不可识别性的问题(a problem of latent variable non-identifiability)
本文证明了当且仅当潜在变量再生成模型中是不可识别的,才会导致了后验崩塌。
这一事实意味着后验崩溃不是特定于使用灵活(flexible)分布或近似推理的现象。相反,即使在精确推理的情况下,它也可能出现在经典概率模型中。亏贼//
本文在此理论的基础上,提出了LIDVAE模型。
该模型通过利用双射Brenier映射,并使用输入凸神经网络对它们进行参数化来解决潜在变量不可识别的问题,而无需特殊的变分推理目标或优化技巧

Intro

后验崩塌:潜在变量的后验等于先验

This phenomenon is also known as latent variable collapse, KL vanishing, and over-pruning
潜在变量坍塌,KL消失,过度修剪

后验崩溃使得VAE无法产生有意义的表示,因为它的每个数据点潜在变量都具有完全相同的后验。

先前想法:因为生成部分模型太灵活了/因为使用了变分推断。
因此基于上面的假设,许多策略都侧重于修改变分推断的目标,设计特殊的优化目标,或限制生成模型的能力。

本文证明后验崩溃发生当且仅当潜在变量在生成模型中不可识别时,这意味着似然函数不依赖于潜在变量。文中使用了贝叶斯不可识别的最新理论进行了证明。

后验崩溃和潜在变量不可识别性之间的关系意味着后验崩溃不是特定于使用神经网络或变分推理的现象,还可能出现在经典概率模型中,如高斯混合模型和概率主成分分析(PPCA)。
这种关系还为β-vae等提供了新思路:这些方法启发式地调整嵌入在模型参数优化中的近似推理过程,虽然最初的动机是为了修补变分目标,但这里的结果表明,这些调整是有用的,因为它们有助于避免潜在变量不可识别的参数,从而避免后验崩溃。
于现有的工作相反,本文认为后验崩溃仅仅是一个潜在变量不可识别的问题,而不是优化、变分近似或神经网络本身的问题。

后验坍塌&潜在变量的不可识别性

定义1:后验坍塌

在这里插入图片描述

定义2:潜在变量不可识别性

在这里插入图片描述
这两个是z定义域任意两个取值
在这里插入图片描述
z取任意两个值生成的x的概率是一样的,也就是说无法识别出不同的z了
在这里插入图片描述
这个公式也是z不可识别的意思,即x的likelihood不在依赖于z,z就是不可识别的
因此为了加强z的可识别性,需要确保likelihood p(x|z,θ)是一对一的就行。即
在这里插入图片描述

模型可识别性&潜在变量可识别性

两者不一样,前者范围更广
潜在变量可识别性要求z在满足特定θ时可识别
模型可识别性要求z和θ都可识别

隐变量不可识别性⇔后验坍塌

证明 不可识别导致后验坍塌

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/939254.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

网络视频监控平台/安防监控/视频综合管理Liveweb视频汇聚平台解决方案

一、当前现状分析 当前视频资源面临以下问题: 1)不同单位在视频平台建设中以所属领域为单位,设备品牌众多,存在的标准不一,各系统之间也没有统一标准; 2)各单位视频平台建设分散、统筹性差&am…

【前端爬虫】关于如何获取自己的请求头信息(user-agent和cookie)

注意:由于user-agent和cookie中保存了部分账户信息,所以一定不要随意泄露给他人!!! 1.首先打开某个页面,点击键盘的F12键进入控制台,或者鼠标右键页面选择打开控制台 2.然后点击控制台上方的网…

共创共建!葡萄城 SpreadJS 完成 HarmonyOS NEXT 操作系统兼容认证

最新技术资源(建议收藏) https://www.grapecity.com.cn/resources/ 近日,华为“企业工作必备应用鸿蒙化论坛”在北京圆满落幕,论坛汇聚了众多行业精英和合作伙伴,聚焦讨论企业数字化转型与原生鸿蒙生态融合等话题。葡萄…

单项链表的学习

1:链表概念 链表是⼀种物理存储结构上⾮连续、⾮顺序的存储结构,数据元素的逻辑顺序是通过链表中的指针链接次序实现的。 1:结点 与顺序表不同的是,链表⾥的每节"⻋厢"都是独⽴申请下来的空间,我们称之为“结点 / 结…

基于大语言模型的多代理下一代制造系统能灵活动态管理制造资源的高效调度方法

摘要 论文地址:https://arxiv.org/pdf/2405.16887 随着生产率的提高,客户对多品种、小批量生产的需求也在不断增加,这反过来又对制造系统提出了更高的要求。由于这种需求,当生产任务频繁变化时,传统的制造系统往往无法…

FPGA-PS端编程1:

目标 在小梅哥的zynq 7015上,完成以下目标: 读取 S1 按键的电平, 当 S1 按键为按下状态时,驱动 PS LED 以 1S 的频率闪烁(注意理解 1S 的频率闪烁和 1S的时间翻转两种描述之间的差别), 当 S1 释放后,停止…

模型 QFD(质量功能展开/质量屋)

系列文章 分享 模型,了解更多👉 模型_思维模型目录。将客户需求转化为产品设计。 1 模型 QFD(质量功能展开)的应用 1.1 电信服务及网络维护过程质量改进QFD应用案例 背景介绍: 随着中国加入WTO和国家对电信管制的普遍…

安装@wangeditor/editor-for-vue失败原因

链接: 安装wangeditor/editor-for-vue失败原因 或者下述命令行: 安装成功可到packa.json里面查看:

敏捷多模态微型机器人:独特的被动变形轮设计

大家好!今天来了解一种微型机器人——《An agile multimodal microrobot with architected passively morphing wheels》发表于《SCIENCE ADVANCES》。这个微型机器人,具有独特的设计和卓越的性能。它带有被动变形轮子,这种轮子的设计灵感源自…

键盘扫描及显示设计实验-微机原理与接口技术课程设计

1.实验要求 将 8255 单元与键盘及数码管显示单元连接,编写实验程序,扫描键盘输入,并将扫描结果送数码管显示。键盘采用 44 键盘,每个数码管显示值可为 0~F 共 16 个数。实验具体内容如下:将键盘进行编号&am…

超维机器人油气化工智能巡检解决方案

随着油气化工行业的快速发展和生产环境的日益复杂,安全、环保和高效的运营管理成为企业发展的关键目标。然而,传统的人工巡检方式面临着许多挑战,包括安全隐患、效率低下和人为误差等问题。为了应对这些挑战,智能化技术的引入为油…

unity webgl部署到iis报错

Unable to parse Build/WebGLOut.framework.js.unityweb! The file is corrupt, or compression was misconfigured? (check Content-Encoding HTTP Response Header on web server) iis报错的 .unityweb application/octet-stream iis中添加 MIME类型 .data applicatio…

【Lua热更新】下篇 -- 更新中

上篇链接:【Lua热更新】上篇 文章目录 三、xLua热更新📖1.概述📚︎2.导入xLua框架🔖3. C#调用Lua3.1Lua解析器3.2Lua文件夹的重定向3.3Lua解析器管理器3.4全局变量获取3.5全局函数获取3.6映射到List和Dictionary3.7映射到类3.8映…

基于 uniapp 开发 android 播放 webrtc 流

一、播放rtsp协议流 如果 webrtc 流以 rtsp 协议返回&#xff0c;流地址如&#xff1a;rtsp://127.0.0.1:5115/session.mpg&#xff0c;uniapp的 <video> 编译到android上直接就能播放&#xff0c;但通常会有2-3秒的延迟。 二、播放webrtc协议流 如果 webrtc 流以 webrt…

Redis应用—7.大Value处理方案

大纲 1.⽅案设计 2.安装与配置环境 1.⽅案设计 步骤一&#xff1a;首先需要配置一个crontab定时调度shell脚本&#xff0c;然后该脚本每天凌晨会通过rdbtools⼯具解析Redis的RDB⽂件&#xff0c;接着对解析出的内容进行过滤&#xff0c;把RDB⽂件中的⼤key导出到CSV⽂件。 步…

Kafka常见面试题+详细解释,易理解。

目录 题库 1.Kafka中的ISR(InSyncRepli)、OSR(OutSyncRepli)、AR(AllRepli)代表什么&#xff1f; 2.Kafka中的HW、LEO等分别代表什么&#xff1f; 3.Kafka的用途有哪些&#xff1f;使用场景如何&#xff1f; 4.Kafka中是怎么体现消息顺序性的&#xff1f; 5.“消费组中的…

泷羽sec学习打卡-brupsuite7搭建IP炮台

声明 学习视频来自B站UP主 泷羽sec,如涉及侵权马上删除文章 笔记的只是方便各位师傅学习知识,以下网站只涉及学习内容,其他的都 与本人无关,切莫逾越法律红线,否则后果自负 关于brupsuite的那些事儿-Brup-IP炮台搭建 搭建炮台服务端安装zmap1、更新系统和安装基础依赖&#xff…

知网研学 | 知网文献(CAJ+PDF)批量下载

知网文献&#xff08;CAJPDF&#xff09;批量下载 一、知网研学安装二、插件及脚本安装三、CAJ批量下载四、脚本下载及PDF批量下载浏览器取消拦截窗口 一、知网研学安装 批量下载知网文件&#xff0c;格式为es6文件&#xff0c;需使用知网研学软件打开&#xff0c;故需先安装该…

强化学习的产业界探索

RL China 2024的会议上&#xff0c;赵鉴博士发表了一个有关强化学习的产业界探索的Topic&#xff0c;我看完之后结合他的ppt和我的看法谈下强化学习的应用落地。 强化学习在很多领域都有应用&#xff0c;据我所知&#xff0c;在好几个热点中都有强化学习的身影&#xff0c;而且…

【RAG实战】Prompting vs. RAG vs. Finetuning: 如何选择LLM应用选择最佳方案

在构建基于大型语言模型&#xff08;LLM&#xff09;的应用时&#xff0c;通常不可能立即使用模型而无需任何调整。为了保持高实用性&#xff0c;我们可以选择以下几种方法之一&#xff1a; Prompt Engineering&#xff08;提示工程&#xff09;Fine-tuning&#xff08;微调&a…