串联信道
大学时候看过一期湖南卫视《快乐大本营》,那时候的主持人是何炅和李湘。节目的一个环节是邀请五名观众上台做猜谜游戏。五人带上耳机,坐在一排椅子上,两两中间隔着挡板,好像并排在一起上厕所。李湘把一部电影的名字写在纸板上,给第一名观众看。第一名观众用动作表演,试图让第二名观众理解。第二名观众再表演给第三名观众,以此类推到倒数第二名观众。然后何炅问最后一名观众电影名字。
那一期的电影名字是《泰坦尼克号》。第一名观众显然看过这部电影,稍做思考,就表演出电影海报中的经典画面。他先模仿Rose张开双臂享受的表情,再后退一步,模仿Jack双臂环抱的动作。他表演得很到位,主持人一脸赞叹的表情,场下观众报以热烈的掌声。第二名观众似乎看懂了,照猫画虎模仿了一遍。以此类推,动作越传越走形,到倒数第二名观众,表演已经相当僵硬、变形。何炅问最后一人,这是什么电影。那名观众自信满满地说“风筝”。也难怪,前面一只风筝张着翅膀飞,后面一个人双手拽着风筝。
这是一个串联信道(也叫级联信道)的例子。信道1的输出𝑌是信道2的输入。
该信道服从以下的不等式:
I
(
X
;
Y
)
≥
I
(
X
;
Z
)
.
I(X;Y) \geq I(X;Z) .
I(X;Y)≥I(X;Z).
证明如下:
按照互信息的链法则:
I
(
X
;
Y
,
Z
)
=
I
(
X
;
Y
)
+
I
(
X
;
Z
∣
Y
)
I(X;Y,Z) = I(X;Y) + I(X;Z|Y)
I(X;Y,Z)=I(X;Y)+I(X;Z∣Y)
I
(
X
;
Y
,
Z
)
=
I
(
X
;
Z
)
+
I
(
X
;
Y
∣
Z
)
I(X;Y,Z) = I(X;Z) + I(X;Y|Z)
I(X;Y,Z)=I(X;Z)+I(X;Y∣Z)
由于已知
Y
Y
Y时,
X
X
X和
Z
Z
Z条件独立。
I
(
X
;
Z
∣
Y
)
=
0
I(X;Z|Y) = 0
I(X;Z∣Y)=0
合并以上式子得到:
I
(
X
;
Y
)
−
I
(
X
;
Z
)
=
I
(
X
;
Z
∣
Y
)
≥
0
I(X;Y) - I(X;Z) = I(X;Z|Y) \geq 0
I(X;Y)−I(X;Z)=I(X;Z∣Y)≥0
即
I
(
X
;
Y
)
≥
I
(
X
;
Z
)
.
I(X;Y) \geq I(X;Z) .
I(X;Y)≥I(X;Z).
上式的意义是,串联信道的容量不可能大于各组成信道的容量。实际中,随着越来越多的信道串联起来,整个信道的容量会趋于0。
举个具体的串联信道例子。将一连串𝑛个相同参数(即出错概率𝑓相等)的二元对称信道(BSC)串联起来。
其总体的转移概率矩阵可以计算为:
当𝑛趋于无穷大时,转移概率矩阵的每一项都趋近于0.5。这个串联信道相当于一个𝑓=0.5的BSC信道,而该信道的容量为0 bit,完全不能传递信息。
下面利用串联的BSC信道,做个仿真实验。将一幅二值图像(一连串二进制的0和1),经过12个串联的BSC信道(𝑓=0.1)进行传输。我们观察从第1一直到第12个信道的输出。从下图可以看到,随着信道增多,噪声越来越严重。到了第12个信道,从输出的图像中完全看不到输入图像的影子;或者说,输出的图像与输入图像几乎完全无关;还可以说,输入的图像几乎完全没有发送过去。
如果把信号处理器看作是信道,对于输入信号做一连串的信号处理,就相当于经过了一连串的信道传输。上述不等式意味着,随着对于信号的处理越来越多,输出信号与输入信号之间的互信息越来越少,直至二者完全独立。也叫做数据处理不等式(Data Processing Inequality)。