2023-02-24 09:07:32
浏览数 (15)
本专栏包含信息论与编码的核心知识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：information-theory】，需要的朋友们自取。或者公众号【AIShareLab】回复 信息论 也可获取。
熵速率 (entropy rate)
定义：一个平稳的时域离散随机过程的熵速率 (entropy rate) 定义为
H=lim _{n rightarrow infty} H(X_{n} mid X_{1}, X_{2}, ldots, X_{n-1})
具有记忆性的信源的熵速率定义为
H=lim _{n rightarrow infty} frac{1}{n} Hleft(X_{1}, X_{2}, ldots, X_{n}right) Example 两个二进制随机变量
mathbf{X} 和
mathbf{Y} , 其联合分布为 p(X=Y=0) = p( X=0, Y=1) = p( X=Y=1) = 1/3 。
计算
H(X),
H(Y),
H(X mid Y),
H(Y mid X) , and
H(X, Y) 。
Solution:
begin{array}{l} p(X=0)=p(X=0, Y=0) p(X=0, Y=1)=frac{2}{3} \ p(X=1)=p(X=1, Y=0) p(X=1, Y=1)=frac{1}{3} \ p(Y=0)=p(X=0, Y=0) p(X=1, Y=0)=frac{1}{3} \ p(Y=1)=p(X=0, Y=1) p(X=1, Y=1)=frac{2}{3} \ H(X)=frac{1}{3} log 3 frac{2}{3} log frac{3}{2}=0.9183 quad H(Y)=frac{1}{3} log 3 frac{2}{3} log frac{3}{2}=0.9183 \ H(X, Y)=sum_{i=1}^{n} p(X, Y) log (X, Y)=log 3=1.585 \ H(X mid Y)=H(X, Y)-H(Y)=0.6667 quad H(Y mid X)=H(X, Y)-H(X)=0.6667 end{array}各类熵的关系
- 条件熵不大于信息熵
熵的不增原理:
H(Y / X) leq H(Y)- 联合熵不大于个信息熵的和，即
Hleft(X_{1} X_{2} ldots X_Nright) leq sum_{i=1}^{N} Hleft(X_{i}right)
仅当各
X_{i} 相互独立时, 等号成立。
-
H(X Y)=H(X) H(Y mid X)=H(Y) H(X mid Y)-
H(X) geq H(X mid Y) ; H(Y) geq H(Y mid X)
