信息论与编码理论-习题答案_姜楠_王健_编著_清华大学(5)

4.11 先求输入端须传输的信息量

1111H(X)?14000?log?14000?log2p?0?2p?1? ?14000?bit?再求输出端10s内传出的信息量。要求信道传出的信息量，必须先求信道容量。由

?1PX???21? 2???0.98P?Y|X?0.02?0.?02 ?90.?8知

?1?2???0???0??0.980.02??0.490.01??????1??0.020.98???0.010.49?

2???11?PY????22?PXY所以

H?X??log2?1?bit?H?Y??log2?1?bit?H?Y|X?????p?xiyj?logp?yj|xi?XY??0.49?log0.98?0.01?log0.02?0.14?bit?C?maxI?X;Y??H?Y??H?Y|X?p?x?

?1?0.14?0.86?bit?信道容量为0.86bit，对信道而言10s内共传输的符号数为15000个。所以输出端传出的信息量为0.86?15000?12900bit?14000bit，显然10s内传出端无法得到输入序列的全部信息。 4.12 （1）信道为准对称信道，输入等概率分布时达到信道容量，即C1?I?X;Y?。 设输入为

p?a1??p?a2??计算输出得

1 2p?b1??p?b2??所以

1?1?2??,p?b3??? 2C1?I?X;Y??H?Y??H?YX??1?2??2H??2? ??H?2???H?p????H?p????H?2????2???1?2??log????p???log?p?????p???log?p????1?2??

（2）信道仍为准对称信道，输入等概率分布时达到信道容量，即C2?I?X;Y?。 设输入为

p?a1??p?a2??计算输出得

1 2p?b1??p?b2??所以

1?1?2??,p?b3??p?b4??? 2C2?I?X;Y??H?Y??H?YX??1?2??2H??2? ??2H????H?p????H?p????H?2????2???1?2??log????p???log?p?????p???log?p????2?log2??1?2??比较两信道容量，得

C2?C1?2?log2??C1?2?

4.13 依题意，阻值的概率空间为

R?2k?R?5k??X??x1x2??P???0.70.3? ????功率的概率空间

y2??Y??y1??P??0.640.36? ????1P?W81P?W4由题意知p?y1x1??0.8,p?y2x1??0.2,再设p?y2x1??p,则

PY??0.640.36??p?y1x1?p?y2x1???? ??p?x1?p?x2????pyxpyx?????1222????0.80.2???0.70.3?????0.56?0.3p0.14?0.3p?pp??由0.56?0.3p?0.64,得

p?PYX0.84?315?0.80.2? ??411????1515???又

H?Y??H?0.64,0.36??0.943(bit) ?411?H?YX??0.7?H?0.8,0.2??0.3?H?,??0.756(bit)?1515?所以

I?X;Y??H?Y??H?YX??0.943?0.756?0.187(bit)

通过测阻值可以得到关于瓦数的平均信息量为0.187bit。

?0?0???1??2??0001?001???与信道的传输符号的概率分布100?2?010????01???1???0???0??1??80????0?1? 2??4.14 （1）X?c1?Y,由信道传输矩阵PYX得到信道输入与输出的联合分布矩阵为

?1?4??0?PXY???0???0?0140000140?0???0?0??0???10??2???01???4??1P?Y?8?00180000140000102011?4??1?4?? 0???0??有边缘概率

1814输出符号熵为

H?Y????p?yj?logp?yj?Y11111111??log?log?log?log?1.75(bit)88884422条件熵为

H?YX?????p?xiyj?logp?yjxi?XY1111111??log1?log1?log?log?log1?0.25(bit)4482824

I?X;Y??H?Y??H?YX??1.75?0.25?1.5(bit)

（2）X?c1?Y?c2?Z

?0?0???1??2?0?0012001??0?001?????100????210????00012001??0?001??????000????110????20001210?10??01?

?00???PZX?PYXPZY

?1?4??0?PXZ???0???0?0140000140?0???0?0??0???10??2???01???4??1PZ???8010110200??00???0???0???1??0??0???1??81? 4??00018141400?0??0??? 1?4??0??1812H?Z????p?zl?logp?zl?Z11111111??log?log?log?log?1.75(bit)88882244H?ZX?????p?xizl?logp?zlxi?XZ

1111??log?log?0.25(bit)8282

I?X;Z??H?Z??H?ZX??1.75?0.25?1.5(bit)

显然I?X;Y??I?X;Z?。

4.15 （1）由信道1的转移概率矩阵可知其为对称信道

所以

?11?C1?log4?H?,??1

?22?因为

H?X??log4?2?C1

所以有信息熵损失，信道有噪声。

（2）由信道2的转移概率矩阵可知其为准对称信道，输入为等概分布时达到信道容量。令此时的输出分布为

q1?q2?所以

1?q8?

8C2?H?Y??H?Y|X??11??log8?H?,??22??2因为

H?X??log4?C2

所以信道2无噪声。

4.16 因为是二元对称信道，根据信源概率分布：p?a1??p?a2??1/2，

信道传输概率： p?b1|a1??p?b2|a2??1??,p?b1|a2??p?b2|a1??? 得到输出符号概率分布

p?b1??p?b2??根据互信息量的定义，有

I?a1;b1??I?b1;a1??logI?a1;b2??I?b2;a1??logp?b1|a1?p?b1?p?b2?1 21???log??2?1?????1/2?logp?b2|a1??log?1/2

?log?2??4.17 （1）这是一个错误传递概率为0.08的二元对称信道，它的信道容量为

C?1?0.08log（2）每次顾客点菜时提供的信息为

11?0.92log?0.5978比特 0.080.9211?0.9log?0.469比特 0.10.9（3）由于需要传递的信息量小于信道容量，因此在这个信道上可以正确传递顾客点菜的信息。

H(X)?0.1log第5章 连续信源和连续信道

5.1 略

1??x?1??x??eln??e?dx??2?2??1?1?????e??x?ln?ln???x?dx??2?2?5.2 1??ln?ln??122e?ln奈特H?X??????5.3 略 5.4 略

第6章 无失真信源编码

6.1 1

6.2 信源序列

6.3 （1）唯一可译码有：A，B，C。 （2）即时码有：A，C

（3）LA??1/2?1/4?1/16?1/16?1/16?1/16??3?（码元 3/信息符号）

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库信息论与编码理论-习题答案_姜楠_王健_编著_清华大学(5)在线全文阅读。