信息论课程 -上海交大 - 2020春季学期
F:\B\2.sources\CS258信息论
文章目录
-
- 1- 信息熵 | 联合熵 | 条件熵 | 链式法则
-
- 1.1-Entropy
1- 信息熵 | 联合熵 | 条件熵 | 链式法则
P3 信息熵 | 联合熵 | 条件熵 | 链式法则
1.1-Entropy
-
Entropy: Brief History
熵的由来，由热力学第二定律，引出分子的无规则运动，用熵从宏观的角度来研究，与牛顿力学有差异；信息的不确定性定义为熵，难以严格证明，难以描述，故以熵命名。 -
Entropy: Definition
discrete random variable： X X X 样本空间是离散的，有限的.
alphabet： X \mathca
