信息论基础:串联信道

串联信道

大学时候看过一期湖南卫视《快乐大本营》,那时候的主持人是何炅和李湘。节目的一个环节是邀请五名观众上台做猜谜游戏。五人带上耳机,坐在一排椅子上,两两中间隔着挡板,好像并排在一起上厕所。李湘把一部电影的名字写在纸板上,给第一名观众看。第一名观众用动作表演,试图让第二名观众理解。第二名观众再表演给第三名观众,以此类推到倒数第二名观众。然后何炅问最后一名观众电影名字。

那一期的电影名字是《泰坦尼克号》。第一名观众显然看过这部电影,稍做思考,就表演出电影海报中的经典画面。他先模仿Rose张开双臂享受的表情,再后退一步,模仿Jack双臂环抱的动作。他表演得很到位,主持人一脸赞叹的表情,场下观众报以热烈的掌声。第二名观众似乎看懂了,照猫画虎模仿了一遍。以此类推,动作越传越走形,到倒数第二名观众,表演已经相当僵硬、变形。何炅问最后一人,这是什么电影。那名观众自信满满地说“风筝”。也难怪,前面一只风筝张着翅膀飞,后面一个人双手拽着风筝。

这是一个串联信道(也叫级联信道)的例子。信道1的输出𝑌是信道2的输入。

该信道服从以下的不等式:
I ( X ; Y ) ≥ I ( X ; Z ) . I(X;Y) \geq I(X;Z) . I(X;Y)I(X;Z).
证明如下:
按照互信息的链法则:
I ( X ; Y , Z ) = I ( X ; Y ) + I ( X ; Z ∣ Y ) I(X;Y,Z) = I(X;Y) + I(X;Z|Y) I(X;Y,Z)=I(X;Y)+I(X;ZY)
I ( X ; Y , Z ) = I ( X ; Z ) + I ( X ; Y ∣ Z ) I(X;Y,Z) = I(X;Z) + I(X;Y|Z) I(X;Y,Z)=I(X;Z)+I(X;YZ)
由于已知 Y Y Y时, X X X Z Z Z条件独立。
I ( X ; Z ∣ Y ) = 0 I(X;Z|Y) = 0 I(X;ZY)=0
合并以上式子得到:
I ( X ; Y ) − I ( X ; Z ) = I ( X ; Z ∣ Y ) ≥ 0 I(X;Y) - I(X;Z) = I(X;Z|Y) \geq 0 I(X;Y)I(X;Z)=I(X;ZY)0

I ( X ; Y ) ≥ I ( X ; Z ) . I(X;Y) \geq I(X;Z) . I(X;Y)I(X;Z).
上式的意义是,串联信道的容量不可能大于各组成信道的容量。实际中,随着越来越多的信道串联起来,整个信道的容量会趋于0。

举个具体的串联信道例子。将一连串𝑛个相同参数(即出错概率𝑓相等)的二元对称信道(BSC)串联起来。

其总体的转移概率矩阵可以计算为:

当𝑛趋于无穷大时,转移概率矩阵的每一项都趋近于0.5。这个串联信道相当于一个𝑓=0.5的BSC信道,而该信道的容量为0 bit,完全不能传递信息。

下面利用串联的BSC信道,做个仿真实验。将一幅二值图像(一连串二进制的0和1),经过12个串联的BSC信道(𝑓=0.1)进行传输。我们观察从第1一直到第12个信道的输出。从下图可以看到,随着信道增多,噪声越来越严重。到了第12个信道,从输出的图像中完全看不到输入图像的影子;或者说,输出的图像与输入图像几乎完全无关;还可以说,输入的图像几乎完全没有发送过去。

如果把信号处理器看作是信道,对于输入信号做一连串的信号处理,就相当于经过了一连串的信道传输。上述不等式意味着,随着对于信号的处理越来越多,输出信号与输入信号之间的互信息越来越少,直至二者完全独立。也叫做数据处理不等式(Data Processing Inequality)。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/520884.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Redis集群三种模式

一、Redis集群的三种模式 Redis有三种模式,分别是主从复制、哨兵模式、cluster 主从复制:主从复制是高可用Redis的基础,哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份,以及对于读操作的负载均衡和简单的故障…

国家开放大学电大《钢结构》形考任务答案

电大搜题 多的用不完的题库,支持文字、图片搜题,包含国家开放大学、广东开放大学、超星等等多个平台题库,考试作业必备神器。 公众号 答案:更多答案,请关注【电大搜题】微信公众号 答案:更多答案&#x…

【windows】--- nginx 超详细安装并配置教程

目录 一、下载 nginx二、安装三、查看是否安装成功四、配置五、关闭 nginx六 负载均衡七 配置静态资源1. 根目录下的子目录(root)2.完全匹配(alias) 刷新配置(不必重启nginx)八、后端鉴权 一、下载 nginx 打开 nginx 的官网:nginx.org/ &…

K8S基于containerd做容器从harbor拉取镜

实现创建pod时,通过指定harbor仓库里的镜像来运行pod 检查:K8S是不是用containerd做容器运行时,以及containerd的版本是不是小于1.6.22 kubectl get nodes -owide1、如果containerd小于 1.6.22,需要先升级containerd 先卸载旧的…

力扣Lc28---- 557. 反转字符串中的单词 III(java版)-2024年4月06日

1.题目描述 2.知识点 1)用StringBuilder的方法 实现可变字符串结果 最后返回的时候用.toString的方法 2)在Java中使用StringBuilder的toString()方法时,它会返回StringBuilder对象当前包含的所有字符序列的字符串表示。 在我们的例子中,sb是一个Stri…

初心护蕾 珍视青春

(通讯员:赵灿飞 图:杨美、孙红浪) 为进一步加强未成年人合法权益保护工作,提高未成年人的自我安全防范意识和能力,培养未成年人正确的性观念和自我保护意识,促进健康的人际关系&#xff0c…

Debian安装宝塔教程

宝塔面板是一款非常受欢迎的服务器管理软件,它以其强大的功能、简洁的操作界面和丰富的应用生态而闻名。宝塔面板不仅能够帮助用户轻松管理服务器,还能够提供网站、数据库、FTP、备份等多种服务,是服务器管理的得力助手。 宝塔面板的特色 1.…

【Spring】之AOP详解

AOP 什么是AOP? AOP:Aspect Oriented Programming,面向切面编程。 切面指的是某一类特定问题,因此面向切面编程也可以理解为面向特定方法编程。例如,在任何一个系统中,总有一些页面不是用户可以随便访问…

设置你的第一个React应用

目录 一、React入门 1.1 你好React 1.2 创建React 1.3 应用结构 二、总结 2.1 定义组件 2.2 组件源码 三、组件详解 注意事项 3.1 组件三部曲 3.2 组件通信 —— props 3.3 对象数组迭代 —— map() 3.4 事件处理 3.5 钩子函数 —— useState() 初次学习最终效果…

Cortex-M7 内存映射模型

1 前言 如图1所示, Cortex-M7最大支持4GB的内存寻址,并对内存映射(memory map)做了初步的规定,将整个内存空间划分为了多个内存区域(region)。每个内存区域有着既定的内存类型(memory type)和内存属性(memory attribute),这两者决…

AI - ComfyUI过程图(3)

ComfyUI 比 Stable Diffusion WebUI更灵活,而且可以看到处理过程,能增加节点进行后续处理,因而更强大。 看看下面一张图的变化,一开始惨不忍睹。 使用 Ultimate SD Upscale 提升分辨率 超精后脸部有改善: 脸部比较…

递归实现指数型枚举(acwing)

题目描述: 从 1∼n 这 n 个整数中随机选取任意多个,输出所有可能的选择方案。 输入格式: 输入一个整数 n。 输出格式: 每行输出一种方案。 同一行内的数必须升序排列,相邻两个数用恰好 1 个空格隔开。 对于没有…

一周年纪念

文章目录 机缘:命运之门收获---知识之心日常---灵魂之窗成就 — 自我之光憧憬 — 未来之路 机缘:命运之门 “人生是由一连串的选择组成,而真正的成长,往往始于最具挑战性的决定。” —— 这句话恰如其分地概括了我选择跨考计算机的…

自动驾驶执行层 - 线控底盘基础原理(非常详细)

自动驾驶执行层 - 线控底盘基础原理(非常详细) 附赠自动驾驶学习资料和量产经验:链接 1. 前言 1.1 线控的对象 在自动驾驶行业所谓的“感知-定位-决策-执行”的过程中,在末端的执行层,车辆需要自主执行决策层所给出的指令,具体…

2024最全ChatGPT支持GPTs使用教程+Prompt应用预设词教程

使用指南 直接复制使用 可以前往已经添加好Prompt预设的AI系统测试使用(可自定义添加使用) https://ai.sparkaigf.com 现已支持GPTs 雅思写作考官 我希望你假定自己是雅思写作考官,根据雅思评判标准,按我给你的雅思考题和对应…

【多模态融合】MetaBEV 解决传感器故障 3D检测、BEV分割任务

前言 本文介绍多模态融合中,如何解决传感器故障问题;基于激光雷达和相机,融合为BEV特征,实现3D检测和BEV分割,提高系统容错性和稳定性。 会讲解论文整体思路、模型框架、论文核心点、损失函数、实验与测试效果等。 …

Python 基于列表实现的通讯录管理系统(有完整源码)

目录 通讯录管理系统 PersonInformation类 ContactList类 menu函数 main函数 程序的运行流程 完整代码 运行示例 通讯录管理系统 这是一个基于文本的界面程序,用户可以通过命令行与之交互,它使用了CSV文件来存储和读取联系人信息,这…

浅谈Redis和一些指令

浅浅谈一谈Redis的客户端 Redis客户端 Redis也是一个客户端/服务端结构的程序。 MySQL也是一个客户端/服务端结构的程序。 Redis的客户端也有多种形态 1.自带命令行客户端 redis-cli 2.图形化界面的客户端(桌面程序,web程序) 像这样的图形…

3d代理模型怎么转换成标准模型---模大狮模型网

在当今的虚拟世界中,3D建模技术被广泛运用于游戏开发、电影制作、工业设计等领域。在3D建模过程中,有时会遇到需要将代理模型转换成标准模型的情况。模大狮将从理论和实践两方面,介绍如何将3D代理模型转换成标准模型,以帮助读者更…

推荐一款免费开源引擎:批量识别PDF及图片表格及文字(可本地化部署)

在数字化时代,信息的快速处理和高效管理成为企业和个人的重要需求。表格文字识别技术作为一项关键的技术,能够将纸质或图片中的表格数据快速转换为结构化的电子数据,极大地提高了数据处理的效率和准确性。本文将对思通数科的表格文字识别技术…