第2题:
4、设一离散无记忆信源的输出由四种不同的符号组成,它们出现的概率分别为 1/2、1/4、1/8、1/8,若信源每毫秒发出一个符号,那么此信源平均每秒 输出的信息量为()bit。
(1)根据信道矩阵P,可知其是一对称信道,所以信道容量为 ≈1.322bit/符号$(2)设信道的输入符号集A={0,1,2,3,4},输出符号集B={0,1,2,3,4),其信道传递矩阵为P,选择码长为2的重复码,即 C:w 1 =00, w 2 =11,w 3 =22, w 4 =33, w 5 =44 因为输入码字等概率分布,这重复码n=2,M=5,因此满足信息传输率 此信道是无记忆信道,满足 P(β j |w i )=P(b j 1 |a i 1 )P(b j 2 |a i 2 ) β j (b j 1 b j 2 ),w i (a i 1 a i 2 ),b j 1 ,b j 2 ∈B,a i 1 ,a i 2 ∈A。 j=1,…,25;i=1,…,5 传递概率P(β j |w i )的矩阵为 根据最大似然译码准则,确定的译码规则为 可计算得 $(3)因为这个DMC具有特殊的传输特性,输入符号“0”只得到输出符号“0”和“1”;输入符号“1”只得到输出符号“1”和“2”;……;输入符号“4”只得到输出符号“4”和“0”。因此,从2题的传递概率矩阵中可以看出,它可使有些P(β j |W i )=P(b j 1 |a i 1 )P(b j 2 |a i 2 )=0。为此,只要适当地选择码长为2的5个码字,使得输出端可能出现的25个码长为2的接收序列β j 分割成5个互不相交的子集,每个码字只传输到所对应的子集,这样就可使p(e|b j )=0(j=1,2,3,4,5)。也就是选择码长n=2的序列作为码字时,它只传输到输出端若干个序列,而使其他传输概率为0。如选择w 1 =00,只传输到00,01,10,11;由第2题的转移矩阵可知,w 2 不能为11,否则会有β的相交(如11),尝试将w 2 改为12,则将得到12、22、13、23;为避免输出序列出现交集,w 3 选为24,则输出为24、20、34、30;w 4 选为31,输出为31、32、41、42;w 5 选为43,输出为43、44、03、04。按照如下译码规则进行译码,则可以保证p(e|b j )=0(j=1,2,3,4,5)。 00、01、10、11→00; 12、22、13、23→12; 24、20、34、30→24; 31、32、41、42→31; 43、44、03、04→43。 序列02、14、21、33、40则不会出现。