信息论与编码姜丹第三版答案(7)

2002 Copyright EE Lab508

3 3 4 4 4 220 221 2220 2221 2222 8S5 S6 S7 S8 S9（不使用） 0.05 0.05 0.05 0.05 0 ?n??pinii?1 ?0.3?1?0.2?1?0.2?2?0.1?2?0.05?3?0.05?3??0.05?4?0.05?4 ?1.8 码符号/信源符号

6.7设信源S的N次扩展信源SN,用霍夫曼编码法对它编码,而码符号U:{ α1,α2,?,αr },编码后所得的码符号可以看作一个新的信源

?U: a1 a2 ? ar [U?P]:?

?P(U): p1 p2 ? pr试证明:当N→∞时,limpi?N??1(i?1,2,?，r). r证明:

?H.F.

2002 Copyright EE Lab508

对信源S的N次扩展信源SN进行Huffam编码,得到的编码是无失真非延长有效码.由平均码长的界限定理,有:H(SN)H(SN)?nN??1logrlogrH(SN)则?N?logrH(S)??n?logrnNH(SN)1?? 其中,为N次扩张信源每个符号需要的平均码长NN?logrNH(S)1? 其中n为信源S每个符号所需要的平均码长logrN对上式各项求极限,不等式仍成立H(S)H(S)1?limn?lim(?)N??logrN??N??logrNH?H??limn?logrN??logrH??limn??H?rN??logr?lim同时由无失真信源编码定理,有H(SN)H(S)编码速率R??nNnH(SN)H(S)H??R??limR?lim?lim??logr bit/symbleN??N??N??H?nNnlogr?在N??时,编码速率即码符号集U每一符号所包含信源的平均信息量R??logr,可见,对于码符号集U,在N??时提供的信息量达到了最大Hmax(U)?logr由信源熵的最大值定理知,此时各符号等概出现:?limpi?N??1(i?1,2,?,r)r6.8设某企业有四种可能出现的状态盈利、亏本、发展、倒闭,若这四种状态是等概率的,那么发送每个状态的消息量最少需要的二进制脉冲数是多少?又若四种状态出现的概率分别是:1/2,1/8,1/4,1/8,问在此情况下每消息所需的最少脉冲数是多少?应如何编码? 解:

设S:{S1=“盈利”,S2=“亏本”,S3=“发展”,S4=“倒闭”},

(1)若四种情况等概率出现时,即p(S1)=p(S2)=p(S3)=p(S4)=0.25时,用脉冲来表示各信息可视为对信源S进行编码,由平均码长界限定理知:

n?H(S)H(0.25,0.25,0.25,0.25)??2 脉冲数/信源符号 logrlog2所以发送每个状态的信息最少需要2个二进制脉冲.

(2) p(S1)=1/2,p(S2)=1/8,p(S3)=1/4,p(S4)=1/8时,由平均码长界限定理:

?H.F.

2002 Copyright EE Lab508

1111H(,,,)H(S)2848?7 脉冲数/信源符号 n??logrlog24所以此情况下每消息所需的最少脉冲数是1.75个.

达到此下限时要求各消息对应码长ni与出现概率p(Si)关系为:p(Si)=2-ni,则 n1=1,n2=3,n3=2,n4=3.

对信源进行Huffman编码: 码长 1 2 3 3 编码 0 10 100 101 信符 S1 S3 S2 S2 信符概率 1/2 1/4 1/8 1/8 0 1 1/2 1/4 1/4 1/2 0 1 1/2 0 1 可见上面编码符号最小码长条件,可使发送每信息的脉冲数最少.

6.9设某信源的信源空间为:

?S: s1 s2 s3 s4 s5 s6 s7?[S?P]:?1111111

P(S): ?24816326464?试用U:{0,1}作码符号集,采取香农编码方法进行编码,并计算其平均码长n. 解: 码长 1 2 3 4 5 6 6 编码 0 10 110 1110 11110 111110 111111 7信符 s1 s2 s3 s4 s5 s6 s7 信符概率 1/2 1/4 1/8 1/16 1/32 1/64 0 1/64 1 1/2 1/4 1/8 1/16 1/2 1/4 1/8 1/16 1/2 1/4 1/8 0 1/8 1 1/2 1/4 0 1 1/4 1/2 0 1 0 1/2 1 1/32 0 1 1/16 1/32 ?n??pinii?11111111?1??2??3??4??5??6??6 24816326464 ?1.96875 码符号/信源符号 ?第七章抗干扰信道编码

7.4设有一离散信道，其信道矩阵为：

?H.F.

2002 Copyright EE Lab508

?1?2?1[P]???4?1??41412141?4?1?? 4?1?2??(1) 当信源X的概率分布为р(?1)＝2/3，р(?2)＝р(?3)＝1/6时，按最大后验概率准则选择译

码函数，并计算其平均错误译码概率Pemin．

(2) 当信源是等概信源时，按最大似然译码准则选择译码函数，并计算其平均错误译码概率

Pemin． 解：

(1)计算后验概率，有：33577p(b1)??P(ai)P(b1ai)?, p(b2)??P(ai)P(b2ai)?, p(b3)??P(ai)P(b3ai)?;122424i?1i?1i?13?P(a1b1)?P(a1b2)?P(a1b3)?P(a1)P(b1a1)p(b1)p(b2)P(a2)P(b1a2)1P(a3)P(b1a3)14?, P(a2b1)??, P(a3b1)??;5p(b1)10p(b1)10P(a1)P(b2a1)P(a1)P(b3a1)p(b3)3P(a2)P(b2a2)2P(a3)P(b2a3)14?, P(a2b2)??, P(a3b2)??;7p(b2)7p(b2)7P(a2)P(b3a2)1P(a3)P(b3a3)24?, P(a2b3)??, P(a3b3)??.7p(b3)7p(b3)71333?取解码规则为：F(b1)?a1 F(b2)?a1 F(b3)?a1Pemin?1??p(bj)p(a*bj)?j?1(2)由信道矩阵，取译码规则为：F(b1)?a1 F(b2)?a2 F(b3)?a3由于信源等概分布?pe?pemin?1??p(a)p(bja)???p(ai)p(bjai)?****j?1j?1i?**12

7.5某信道的输入符号集X：{0，1/2，1}，输出符号集Y：{0，1}，信道矩阵为：

0?11?1[P]??221??00?1? 2?1??现有四个消息的信源通过这信道，设信息等概出现。若对信源进行编码，我们选这样一种码：

C:{(x1,x2,1/2,1/2)}，xi=0,1(i=1,2)

其码长n=4，并选取这样的译码原则：?(y1,y2,y3,y4)=(y1,y2,1/2,1/2) (1) 这样的编码后信息传输效率等于多少？

(2) 证明在选用的编码规则下，对所有码字有Pe＝0。 解：

?H.F.

2002 Copyright EE Lab508

(1)?信道输入等概出现?R?(2)证明：logMlog4??0.5 bit/symbleN42?Pe??P(bj)Pej??P(bj)(1-PRj)??P(bj)(1-P{X?F(bj)?ai/bj})

j?1j?1j?122 ?P(0)(1?1)?P(1)(1?1)?0?在这样的译码原则下，对所以的码字Pe＝0。7.6考虑一个码长为4的二进制码，其码字为w1=0000；w2=0011；w3=1100；w4=1111。若码

字送入一个二进制对称信道（其单符号的误传概率为p，p<0.01），而码字的输入是不等概率的，其概率为：p(w1)=1/2，p(w2)=1/8，p(w3)=1/8，p(w4)=1/4 试找出一种译码规则使平均错误概率Pemin=Pe。

解：由于信道为二进制对称信道，所以先验概率等于后验概率，且p<0.01，故可以根据信道输出的24个码字的最大后验概率选择译码规则，即可使平均错误概率Pemin=Pe。 发送概率 收到码字 0000 w1=0000 w2=0011 w3=1100 w4=1111 译码规则 12P 4122PP 813PP 813PP 814P 813PP 8122PP 8122PP 813PP 813PP 8122PP 8122PP 813PP 814P 8122PP 813PP 813PP 814P 813PP 8122PP 8122PP 813PP 813PP 8122PP 8122PP 813PP 814P 814P 413PP 413PP 4122PP 413PP 4122PP 4122PP 413PP 413PP 4122PP 4122PP 413PP 4122PP 4F(0000)=0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 13PP 213PP 2122PP 213PP 2122PP 2122PP 213PP 213PP 2122PP 2122PP 213PP 2122PP 2F(0001)=0000 F(0010)=0000 F(0011)=0011 F(0100)=0000 F(0101)=0000 F(0110)=0000 F(0111)=1111 F(1000)=0000 F(1001)=0000 F(1010)=0000 F(1011)=1111 F(1100)=1100 ?H.F.

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库信息论与编码姜丹第三版答案(7)在线全文阅读。