信息理论基础(8)

Ht(X)??2B????p(x)logp(x)dx?2BH(X) （8——12）

因为高斯信源具有最大熵（取e为底的对数） H(X)?ln(2?e?)?ln(2?eP)

对于其它分布的信源，当平均功率P一定时，其熵必定小于高斯信源的熵。因此，为了衡量某一信源的熵与同样平均功率限制下的高斯信源的熵的不一致程度，定义熵功率为 P?12H(X)e (8——13) 2?e式中，H(X)为某一信源的熵。

显然，任何一个信源的熵功率P小于或等于平均功率，当且仅当信源为高斯信源时，墒功率与平均功率相等。

例8.1.1 求均匀分布随机变量的熵。 解：均匀分布随机变量的概率密度为

?1(a?x?b)? p(x)??b?a其他??0代入熵表达式，则有

H(X)??11log?ab?ab?adx?log(b?a)

b可以看到，当b?a?1时，则H(X)?0，所以连续信源不具有非负性。 例8.1.2 求均值为m、方差为?的高斯分布的熵。 解：高斯随机变量的概率密度为

21(x?m)2 p(x)?exp{?} 22?2??则有

H(X)???p(x)logp(x)dx????1(x?m)2??p(x)[logexp{?}]dx??2?22???

取e为底的对数

H(X)???p(x)[?ln2??????12?2(x?m)2]dx?

ln2???12??2??2?ln(2?e?)例8.1.3求N维联合高斯分布的熵。

解：设X?[X1,X2,?,XN]T是N维高斯随机矢量，其均值矢量为M?[m1,m2,?,mN]T，协方差矩阵为

R?[rij] 其中

rij?E[(Xi?mi)(Xj?mj)] i,j?1,2,?,N

N维联合高斯密度函数为

p(x1x2?xN)?

1(2?)NR

1exp{?(X?M)TR?1(X?M)}2联合熵为（取e为底的对数）

H(X1,X2,?,XN)?????????????????p(x1x2?xN)?lnp(x1x2?xN)dx1dx2?dxN????1NT?1?p(xx?x)[?ln(2?)R?(X?M)R(X?M)]dx1dx2?dxN???12N?????2

???11NT?1?ln[(2?)R]?????(X?M)R(X?M)p(x1x2?xN)dx1dx2?dxN??????221N?ln[(2?)NR]?22当X1,X2,,?,XN统计独立时，则

R???i?1N2i

此时

1NNN H(X1,X2,?XN)??ln?i2?ln2??

2i?122例8.1.4 设随机变量X和Y的联合概率密度为

p(x,y)?

12??x?y1(x?mx)2exp{?[?2222(1??)?1??x?(y?my)22?(x?mx)(y?my)

?x?y?2y]}求（1）H(X)和H(Y)各是多少？ （2）H(X|Y)和H(Y|X)各是多少？ （3）H(X,Y)?? （4）I(X;Y)??

解：（1）由边缘概率密度定义，有

pX(x)??p(xy)dy???? 112exp{?2(x?mx)}2?x2??x故

H(X)??同理可得

H(Y)?log(2?e?y) （2）由条件熵定义，有

????p(x)logp(x)dx?log(2?e?x)

H(X|Y)????????????p(xy)logp(x|y)dxdy?2222?(x?m)(y?m)(y?m)(y?m)1(x?m)xyyy22??????p(xy){log2??x(1??)?2[(1??2)x?x2?(1??2)?x?y?(1??2)?y2??y2]logloge12?21?log2??(1??)?(???1)?22221??1??1??

2x22log2?e?x(1??2)同理可得

2H(X|Y)?log2?e?y(1??2)

（3）由联合熵定义，有

H(X,Y)??????????p(xy)logp(xy)dxdy???

??????p(xy){log[2??x?y(1??2)]? 2(y?my)(y?my)21(x?mx)22?(x?mx)(y?my)[???]loge}dxd?2222222(1??)?x(1??)?x?y(1??)?y?ylog2[?e?x?y(1??2)]由互信息量定义，有

I(X;Y)?H(X)?H(X|Y)?22 log2?e?x?log2?e?x(1??2)?

?log(1??2)上述结果表明，两个高斯随机变量的各自熵只与各自的方差有关。条件熵与相关系数?有关，当??0时，即X和Y互不相关时，或者说相互独立时，或者说相互独立时，则有

H(X)?H(X|Y)和H(Y|X).联合熵也与?有关，而互信息量仅与?有关，与方差无关，

当??0时，I(X;Y)?0。 8.2 连续信道的信道容量

信源输出的信息总是要通过信道传送给接收端的接收者，所以讨论信道传输信息的能力是非常重要的。这里所讨论的信道容量就是指信道对信源的一切可能的概率分布而言能够传送的最大熵速率。

对于连续信道，其输入和输出均是连续的随机信号，但从时间关系上来看，可以分为时间离散和时间连续两大类型。当信道的输入和输出只能在特定的时刻变化，即时间为离散值时称信道为离散时间信道。当信道的输入和输出的取值是随时间变化的，即时间为连续值时，称信道为连续信道或波形信道。下面分别讨论这两种类型的信道。 8.2.1时间离散信道的容量

连续信道的输入和输出为随机过程X(t)和Y(t)，设N(t)为随机噪声，那么简单的加性噪声信道模型可以表示为

Y(t)?X(t)?N(t) （8——14）

根据随机信号的采样定理，可将随机信号离散化。因此，对于时间离散信道的输入和输出序列可以分别表示为

X?[X1,X2,?,Xn]

Y?[Y1,Y2,?,Yn]

如果信道转移概率密度满足

p(y|x)?p(y1|x1)p(y2|x2)?p(yn|xn) 则称信道为无记忆连续信道。 同离散信道情况相同，存在 I(X;Y)??I(X,Y)?nC

iii?1n上式中信道容量C定义为

C?maxI(X;Y) （8——15）

p(x)式中，p(x)为输入信源的概率密度。

由于输入和干扰是相互独立的，对于一维随机变量，其信道模型可以表示为 Y?X?N

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库信息理论基础(8)在线全文阅读。