4、设一离散无记忆信源的输出由四种不同的符号组成，它们出现的概率分别为 1/2、1/4、1/8、1/8，若信源每毫秒发出一个符号，那么此信源平均每秒 输出的信息量为（）bit。

(1)根据信道矩阵P，可知其是一对称信道，所以信道容量为 ≈1.322bit/符号$(2)设信道的输入符号集A={0，1，2，3，4}，输出符号集B={0，1，2，3，4)，其信道传递矩阵为P，选择码长为2的重复码，即 C：w 1 =00, w 2 =11，w 3 =22, w 4 =33, w 5 =44 因为输入码字等概率分布，这重复码n=2，M=5，因此满足信息传输率 此信道是无记忆信道，满足 P(β j |w i )=P(b j 1 |a i 1 )P(b j 2 |a i 2 ) β j (b j 1 b j 2 )，w i (a i 1 a i 2 )，b j 1 ,b j 2 ∈B，a i 1 ,a i 2 ∈A。 j=1，…，25；i=1，…，5 传递概率P(β j |w i )的矩阵为 根据最大似然译码准则，确定的译码规则为 可计算得 $(3)因为这个DMC具有特殊的传输特性，输入符号“0”只得到输出符号“0”和“1”；输入符号“1”只得到输出符号“1”和“2”；……；输入符号“4”只得到输出符号“4”和“0”。因此，从2题的传递概率矩阵中可以看出，它可使有些P(β j |W i )=P(b j 1 |a i 1 )P(b j 2 |a i 2 )=0。为此，只要适当地选择码长为2的5个码字，使得输出端可能出现的25个码长为2的接收序列β j 分割成5个互不相交的子集，每个码字只传输到所对应的子集，这样就可使p(e|b j )=0(j=1，2，3，4，5)。也就是选择码长n=2的序列作为码字时，它只传输到输出端若干个序列，而使其他传输概率为0。如选择w 1 =00，只传输到00，01，10，11;由第2题的转移矩阵可知，w 2 不能为11，否则会有β的相交(如11)，尝试将w 2 改为12，则将得到12、22、13、23；为避免输出序列出现交集，w 3 选为24，则输出为24、20、34、30；w 4 选为31，输出为31、32、41、42；w 5 选为43，输出为43、44、03、04。按照如下译码规则进行译码，则可以保证p(e|b j )=0(j=1，2，3，4，5)。 00、01、10、11→00； 12、22、13、23→12； 24、20、34、30→24； 31、32、41、42→31； 43、44、03、04→43。 序列02、14、21、33、40则不会出现。