设信源求这信源的熵，并解释为什么H（X)＞log6不满足信源熵的极值性。

设信源

(1)求信源熵H(X);

(2)编二进制香农码:

(3)计算其平均码长及编码效率。

19．设某离散平稳信源X，概率空间为

并设信源发出的符号只与前一个相邻符号有关，其联合概率为p(a_ia_j)如下表所示。

求信源的信息熵、条件熵与联合熵，并比较信息熵与条件熵的大小。

设信源 X的N次扩展信源通过信道{X. P(Y/X), Y}的输出序列为。试证明:

(1)当信源为无记忆信源时，即之间统计独立时，有;

(2)当信道无记忆时，有

(3)当信源、信道均为无记忆时，有;

(4)用熵的概念解释以上三种结果。

离散无记忆信源所产生的符号序列的熵等于各符号熵之和。()

设信源通过一干扰信道，接收符号为Y ={b₁,b₂}， 信道传递矩阵为,求

(1)信源X中事件a₁和a₂分别含有的自信息量:

(2)收到消息b_j(j= 1,2)后，获得的关于a₁(i= 1, 2)的信息量;

(3)信源X和信宿Y的信息熵;

(4)信道疑义度H(X/)和噪声熵H(Y/X);

(5)接收到信息Y后获得的平均互信息量。

设二元信源为

失真矩阵为，求该信源的D_max、D_min及R(D)。

设有一连续随机变量，其概率密度函数为试求:

(1)信源X的熵H_C(X); (2)Y= X+A(A＞0)的熵H_C(Y); (3)Y= 2X的熵H_C(Y)。