信息论

自信息量、熵、联合熵、条件熵与互信息

第二章 信息量与熵 本章主要讨论以下几个核心概念： 自信息量 总自信息量 信息熵 联合熵 条件熵 互信息量 连续型随机变量的熵 1. 自信息量 单个事件或符号 \(x_i\) 的自信息量定义为：