信息论与编码理论-习题答案_姜楠_王健_编著_清华大学

第1章 绪论

1.1 1.2 1.3 1.4

信源、编码器、信道、干扰、译码器、信宿 香农

通信系统模型

信号是消息的表现形式，是物理的，比如电信号、光信号等。消息是信息的载荷者，是信号的具体内容，不是物理的，但是又比较具体，例如语言、文字、符号、图片等。信息包含在消息中，是通信系统中被传送的对象，消息被人的大脑所理解就形成了信息。 1.5 略

第2章 信息的统计度量

2.1 2.2 2.3 2.4 2.5

少

y的出现有助于肯定x的出现、y的出现有助于否定x的出现、x和y相互独立 FTTTF 2.12比特

依题意，题中的过程可分为两步，一是取出一枚硬币恰好是重量不同的那一枚，设其发生的概率为p1，由于每枚硬币被取出的概率是相同的，所以

p1?所需要的信息量

1 81I?A???logp1?6.34?bit?

二是确定它比其他硬币是重还是轻，设其发生的概率为p2，则

p2?总的概率

12

p?p1p2?所需要的信息量

111??812162

I??logp?log162?7.34?bit?

2.6 设A表示“大学生”这一事件，B表示“身高1.60m以上”这一事件，则

p?A??0.25p?B??0.5p?B|A??0.75

故

p?A|B??

p?AB?p?B??p?A?p?B|A?p?B??0.75?0.25?0.375

0.5

I?A|B??log11?log?1.42?bit?

p?A|B?0.3752.7 四进制波形所含的信息量为log4?2?bit?，八进制波形所含信息量为log8?3?bit?，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。

2.8

I?2???log2p?bit?I?3???log3p?bit?I?3?I?2??log23?1.585

故以3为底的信息单位是比特的1.585倍。 2.9 （1）J、Z（2）E（3）X

2.10 （1）两粒骰子向上面的小圆点数之和为3时有(1, 2)和(2, 1)两种可能性，总的组合数为

11C6?C6?36，则圆点数之和为3出现的概率为

p3?故包含的信息量为

21?3618

1?4.17?bit?18

（2）小圆点数之和为7的情况有(1, 6), (6, 1), (2, 5), (5, 2), (3, 4), (4, 3)，则圆点数之和为7出现的概率为

I?3???logp3??logp7?故包含的信息量为

61?366

1?2.585?bit?6

I?7???logp7??log2.11 对于男性，是红绿色盲的概率记作p?a1??7%，不是红绿色盲的概率记作p?a2??93%，

这两种情况各含的信息量为

I?a1??log??1p?a1????logI?a2??log??1p?a2????log平均每个回答中含有的信息量为

100?3.83?bit?7

100?0.105?bit?93

793?3.83??0.105?0.366?bit?100100

H?A??p?a1?log??1p?a1????p?a2?log??1p?a2????对于女性，是红绿色盲的概率记作p?b1??0.5%，不是红绿色盲的概率记作p?b2??99.5%，则平均每个回答中含有的信息量为

H?B??p?b1?log??1p?b1????p?b2?log??1p?b2???510009951000?log??log100051000995?0.045?bit??

所以

H?A??H?B?

2.12 天平有3种状态，即平衡，左重，左轻，所以每称一次消除的不确定性为log3，12个

?11?球中的不等重球（可较轻，也可较重）的不确定性为：?log????log24，因为

?122?3log3?log24,所以3次测量可以找出该球。

2.13 （1）当最后3场比赛麦克胜的次数比大卫多时，麦克最终才能胜，因此

P?胜??P?麦克胜3场??P?大卫胜少于3场?+P?麦克胜2场??P?大卫胜少于2场??P?麦克胜1场??P?大卫胜0场?17343122???????88888864

同理

P?负??麦克最终比赛结果的熵为

22222220，P?平??1???64646464

222222222020?222220?H?,,???log?log?log646464646464?646464?2220?log64?2?log22?log2064644420?6??4.4594??4.32196464?6?3.0659?1.3506

因为胜、负、平这3种结果接近等概，所以该随机变量的熵接近最大熵。

（2）假定大卫最后3场比赛全部获胜，那么麦克也必须全部获胜最后3场比赛最终才能得平，否则就是负。麦克3场比赛全部获胜的可能性是2?3?1/8，因此在假定大卫最后3场比赛全部获胜的情况下麦克的最终比赛结果的条件熵是

7?1?H???3?log7?0.5436比特结果8?8? 2.14 （1）假定一个家庭里有k个女孩，1个男孩，相应的概率是0.5k?0.5，因此女孩的平

均数是0.5?k0.5k?1，女孩的平均数和男孩的平均数相等。

k?1??1.5835比特结果（2）H?X????0.5ilog?0.5i??2

i?1?2.15 （1）根据题意，可以得到：

p?E??p?F??p?U??1 ①

②

1.0p?E??0.5p?F??0.0p?U??0.95由式②可以得到：

p?F??1.9?2p?E? ③

将式③代入式②得到：

p?E??0.9?p?U? ④

由于p?E?,p?F?,p?U?的取值必须在0到1之间，由式③和式④可以得到p?E?的取值范围在0.9到0.95之间。 (2)就业情况的熵为

?1??1??1?H?p?E?log??pFlog?pUlog?????????pEpFpU???????????????????1?????11?p?E?log??1.9?2pElog?pE?0.9log??????????????????p?E????1.9?2p?E????p?E??0.9?? ???它在p?E?的取值范围内的曲线如图所示。

0.5 0.45 0.4 0.35 0.3 0.250.00.010.020.030.040.05

（3）当p?E??0.9081时，H?0.4823达到最大值，这时p?F??0.0838，p?U??0.0081。 2.16 假设X表示当地的实际天气情况，Y表示气象台预报的天气情况，Z表示总是预报不

下雨的天气情况。

H?X??0.696比特符号

I?X;Y???p?xy?logx,yp?xy?p?x?p?y?311013110?log?log16?log16?log163516513163111611138????1616161616161616?0.0906比特符号

I?X;Y???H?X?，可见气象台预报的确实不好。

18但是如果总是预报不下雨的话则会更糟，因为X和Z是相互独立的两个随机变量，即I?X;Z??0，所以

I?X;Y??I?X;Z?,H?X|Z??H?X|Y?

因此气象台的预报准确率虽然比总是预报不下雨低，但还是传递了一些信息，消除了一些不确定性。

2.17 由互信息量的定义

I?xi;yj??log因为pxi|yj?1，则有

p?xi|yj?p?xi?

??I?xi;yj??log同理，因为pyj|xi?1，则有

p?xi|yj?p?xi??log1?I?xi? p?xi???I?yj;xi??logp?yj|xi?p?yj??log1?I?yj? p?yj?2.18 （1）根据熵的极值性，当随机变量等概分布时，随机变量的熵最大。有7个可能取值

的随机变量的最大熵为log7，随机变量X不是等概分布，所以H?X??log7。 ?22222?2?1?2?1?（2）根据熵的递增性，H?X??H?,,,,??H???H???log5。

?1010101010?10?2?10?2?（3）

H?X????p?x?logp?x???3?x2211log?4?log101010106log2?3.322?0.610?2.722比特符号?log10?

2244log?log10101010H?Y????p?y?logp?y???3?y64log2?log41010?3.322?0.6?0.8?log10??1.922比特符号

（4）因为随机变量Y是X的函数，所以

H?XY??0比特符号

H?XY??H?XY??H?Y??H?X??H?YX??H?Y??0.8比特符号2.19 假定p1为最大的概率。根据熵函数的性质，如果p1?11，则熵小于2；如果p1?，则2211?11111?只有一种可能：?,,,,?。如果?p1?，则有无数个解，其中之一为

42?28888?

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库信息论与编码理论-习题答案_姜楠_王健_编著_清华大学在线全文阅读。