信息论与编码姜丹第三版答案(5)

2002 Copyright EE Lab508

3.8某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X：{0,1,2}，并定义p?1?p

p 0 p/2 p/2 p 1 p/2 p/2 p/2 p/2 2 (1) 试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)； (2) 求信源的极限熵H∞；

(3) p取何值时H∞取得最大值。 解：

p (1)由题意，此信源一步转移概率为： 0 1 20?pp/2p/2???[P]?1?p/2pp/2?2?p??p/2p/2??n0?1时二步转移概率均大于0，既有pij(n0?1)?0(i,j?1,2,3)?信源具有各态经历性，存在极限概率p(Si)(i?1,2,3)T??p(S)??p?p/2p/2?p(S1)?11?????p(S)????1?pp/2???p(S2)???p(S2)?＝?p/23????p/2p/2??p?1??p(S3)?????p(S3)???由?p(S)??23?p(S1)?p(S2)?p(S3)?1?1??p(S)?3??3??p(S)?0(i?1,2,3)i?(2)?H?????p(Si)p(Sj/Si)logp(Sj/Si)i?1j3

11pp1ppp ??3?(plogp??log??log)??(plogp?plog)bit/symbl33223222ppppp(3)H???(plogp?plog)??(plogp?log?log)22222pppp12?p???1?由熵的极限定理，当p???即p?时H?取得最大，且

222233H?max?log3?1.585bit/symble

?H.F.

2002 Copyright EE Lab508

3.9某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X：{0,1,2}。试求： (1)试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)； (2)求信源的极限熵H∞；

(3)求当p=0,p=1时的信息熵，并作出解释。

p

0 p p

1 p p 2 p 解:

(1)由题意，此信源一步转移概率为： 0 1 20?p0p???[P]?1?pp0??2??0pp??由状态转移图可知,此信源为不可约、非周期性、各态经历性信源?存在极限概率p(Si)(i?1,2,3)??p(S)??p0p?T?p(S)?111?????p(S)????1???p(S2)?＝?pp0???p(S2)?3????0pp??p(S3)???p(S3)?????p(S)?1???由??23?p(S1)?p(S2)?p(S3)?1?1??p(S)?3??3??p(S)?0(i?1,2,3)i?(2)?H?????p(Si)p(Sj/Si)logp(Sj/Si)i?1j3111111 ??(plogp??plogp?plogp??plogp?plogp??plogp)333333

??(plogp?plogp)?H(p)bit/symbl(3)p?0时,H??H(0)?0bit/symbl p?1时,H??H(1)?0bit/symbl

?H.F.

2002 Copyright EE Lab508

3.10设某马尔柯夫信源的状态集合S：{S1S2S3}，符号集X：{α1α2α3}。在某状态Si(i=1,2,3)下发发符号αk(k=1,2,3)的概率p(αk/Si) (i=1,2,3; k=1,2,3)标在相应的线段旁,如下图所示. (1) 求状态极限概率并找出符号的极限概率;

(2) 计算信源处在Sj(j=1,2,3)状态下输出符号的条件熵H(X/Sj); (3) 信源的极限熵H∞.

α2:1/2 α1:1/2 S1 α2:1/4 α3:1/4 α1:1 S3

解:

α3:1/2 S2 (1)由题意，此信源一步转移概率为： S1 S2 S3S1?03/41/4??[P]?S2?01/21/2??S3?0??10??由状态转移图可知,此信源为不可约、非周期性、各态经历性信源?存在极限概率p(Si)(i?1,2,3)??p(S1)??03/41/4?T?p(S1)?2???p(S)??????1???p(S2)?＝?01/21/2???p(S2)?7??0???p(S3)????10???p(S3)????p(S)?3由???27p(S)?p(S)?p(S)?1??1232??p(S)?3??7??p(S)?0(i?1,2,3)i?各符号极限概率为:p(a1)??p(Si/a1)p(Si)?i?1332124???1?727721213????74721421213????747214p(a2)??p(Si/a2)p(Si)?i?13p(a3)??p(Si/a3)p(Si)?i?131111(2)H(X/S1)???p(ai/S1)logp(ai/S1)??(log?log)?1bit/symble

2244i?11111 H(X/S2)???p(ai/S2)logp(ai/S2)??(log?log)?1bit/symble2222i?1?H.F.

32002 Copyright EE Lab508

H(X/S3)???p(ai/S3)logp(ai/S3)??log1?0bit/symblei?13(3)?H?????p(Si)p(Sj/Si)logp(Sj/Si)i?1j3

23311311112 ??[?(log?log)??(log?log)??log1]74444722227 ?0.660bit/symbl3.12下图所示的二进制对称信道是无记忆信道,其中0?p,p?1,p?p?1,p??p,试写出N=3次扩展无记忆信道的信道矩阵[P].

0 p 0 p X Y p p 1 1

解:

将二进制对称无记忆信道N?3次扩展后,信源输入符号集为:?i?(ai1ai2ai3),其中ai1、ai2、ai3?{0,1},i?1,2,?8;即:?1?(000),?2?(001),?3?(010),?4?(011),?5?(100),?6?(101),?7?(110),?8?(111)输出符号集为:?j?{bj1bj2bj3},其中bj1、bj2、bj3?{0,1},j?1,2,?8;即:?1?(000),?2?(001),?3?(010),?4?(011),?5?(100),?6?(101),?7?(110),?8?(111)?p(?j/?i)?p(ai1/bj1)?p(ai2/bj2)?p(ai3/bj3)故直接可以写出N?3次扩展信道信道矩阵: ?1 ?2 ?3 ?4 ?5 ?6 ?7 ?8 (000) (001) (010) (011) (100) (101) (110) (111)3222?1?(000)?ppppppp2pppp2pp2p3??2?3222232?2?(001)?pppppppppppppp?2322232??3?(010)?pppp2pppppppppp??22322322??(011)?pppppppppppppp?[P]?423222232??5?(100)?pppppppppppppp??2232?6?(101)?pp2ppp3pp2ppppp2pp????7?(110)?pp2p3p2ppp2p2ppp2p3p2p??8?(111)?p3pp2pp2p2ppp2p2pp2pp3???

?H.F.

2002 Copyright EE Lab508

第五章 多维连续信源与信道

5.8设X(?)是时间函数x(t)的频谱,而函数在T1

X(f)?n?????X(nsin(n???fT)) Tn???fT(频域抽样定理,证明详见p263-p265)

5.9设随机过程x(t)通过传递函数为K(?)的线性网络,如下图所示.若网络的频宽为F,观察时间为T.试证明:输入随机过程的熵h(X)和输出随机过程的熵h(Y)之间的关系为:

x(t) 网络 K(?) y(t)

?n?h(Y)?h(X)??logK??

?T?n?1(证明详见p283-p287)

5.11证明:加性高斯白噪声信道的信道容量:

2N?XC?log(1?2) 信息单位/N维

2?NFT2其中N=2FT,б2X是信号的方差(均值为零), б2N是噪声的方差(均值为零).

再证:单位时间的最大信息传输速率

Ct?Flog(1?2?XN0F) 信息单位/秒

(证明详见p293-p297)

5.12设加性高斯白噪声信道中,信道带宽3kHz,又设{(信号功率+噪声功率)/噪声功率}=10dB.试计算改信道的最大信息传输速率Ct. 解:

S?NS?NS?10??10即?9NNN

S?Ct?Flog(1?)?3000?log(1?9)?9965.78 bit/sN由题意有:10log?H.F.

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库信息论与编码姜丹第三版答案(5)在线全文阅读。