信息理论基础(7)

信息量、信道容量和率失真函数。需要强调的是连续信源熵的值只是熵的相对值，不是绝对值，而离散信源熵的值是绝对值。 8.1.3 连续信源的最大熵

我们知道，对于离散信源，当所有消息独立等概分布时，其熵值最大。对于连续信源，当存在最大熵值时，其概率密度函数p(x)应该满足什么条件呢？下面将讨论这一问题。 实际上，上述问题就是求当H(X)满足 H(X)??????p(x)logp(x)dx

为最大条件下，求解p(x)，且p(x)满足概率密度的定义。在具体应用中，我们只对连续信源的两种情况感兴趣，一是信源输出幅度受限，二是信源输出平均功率受限。利用数学表达式表达两种情况，可以写为

???-??p(x)dx?1 xp(x)dx?m (x?m)2p(x)dx??2

??????首先我们讨论信源输出幅度受限条件下信源的最大熵。 定理8.1.1 对于服从均匀分布的随机变量X,具有最大输出熵。 证明：该问题为在约束条件 下，求

H(X)??达到最大值的p(x)。 令

F[p(x)]?H[X]??[?bap(x)dx?1

?bap(x)logp(x)dx

?p(x)dx?1]

ab对上式求关于p(x)的偏导数，并令其为0，则

?F[p(x)]b???????[?p(x)logp(x)??p(x)?]?dx?0 a?p(x)b?a???p(x)取e为底得对数，化简后得

?lnp(x)?1???0 解得

p(x)?e??1 因为

则有

e所以

??1?bap(x)dx??e??1dx?1

ab?1 b?a?1(a?x?b)? p(x)??b?a （8——3）

其他??0从以上证明可以看出，输出信号幅度受限的连续信源，当满足均匀分布时达到最大输出熵。该结论与离散信源在以等概率出现达到最大输出熵的结论类似。 下面讨论平均功率受限条件下的最大熵。

定理 8.1.2 对于服从均值为m，方差为?的高斯分布的随机变量具有最大输出熵。 证明：该问题为在约束条件 下，求

2???-??p(x)dx?1 xp(x)dx?m (x?m)2p(x)dx??2

?????? H(X)??达到最大值的p(x)。 令

????p(x)logp(x)dx

F[p(x)]?H(x)??1[?p(x)dx?1]??2[?xp(x)dx?m]???

??????3[?(x?m)2p(x)dx??2??]令

?F[p(x)]?p(x)?0

取e为底得对数，则有

?lnp(x)?1??1??2x??3(x?m)2?0 解得

p(x)?exp{?1?1??2x??3(x?m)2} 将上式代入约束条件关系式，可以得到 e?1?1?12??

?2?0

??13?2?2 故

p(x)?12??exp?{(x?m)2 2?2} （8——4）

H(X)??????p(x)logp(x)dx????(x?m)2???p(x)log2??dx???2?2p(x)dxloge? log2???12loge?log(2??e?)

8——5） （

上式表明，具有高斯分布的连续信源的熵最大，且随平均功率的增加而增加。 8．1.4 联合熵、条件熵和平均交互信息量

定义8.1.2 设有两个连续随机变量X和Y,其联合熵为 H(X,Y)??????????p(xy)logp(xy)dxdy （8——6）

式中p(x,y)为二维联合概率密度。

定义8.1.3 设有两个连续随机变量X和Y,其条件熵为 H(Y|X)??或

H(X|Y)???????-?-?p(xy)logp(y|x)dxdy （8——7）

???-?-?p(xy)logp(x|y)dxdy （8——8）

式中p(y|x)和p(x|y)为条件概率密度。

定义8.1.4 两个连续随机变量X和Y之间的平均交互信息量为 I(X;Y)?H(X)?H(X|Y) (8——9) 或

I(X;Y)?H(Y)?H(Y|X) (8——10) 可以证明：

I(X;Y)?H(X)?H(Y)?H(X,Y) (8——11) 证明：

I(X;Y)?H(X)?H(X|Y)?H(X)??H(X)??

?????????p(xy)log(x|y)dxdy?p(xy)logp(xy)dxdy?pY(y)??????1H(X)??pY(y)logdy???pY(y)

????????p(xy)logp(xy)dxdy?H(X)?H(Y)?H(X,Y)由上述推导可以看出，有 I(X;Y)?I(Y;X) 并且

H(X,Y)?H(X)?H(Y)??

???????p(xy)logpX(x)pY(y)dxdy?p(xy)??故有

??????p(xy)[pX(x)pY(y)?1]logedxdy?0p(xy)

I(X;Y)?0

上述定义与离散信源的有关关系式完全类似。由于连续信源的熵是相对熵，它与离散信源的熵不同，不具有非负性和极值性。但可以证明连续信源的平均交互信息量具有非负性，并且存在如下的一些关系式。 （1）H(X,Y)?H(X)?H(Y)

（2）H(X|Y)?H(X)和H(Y|X)?H(Y) 当信源相互独立时，（1）（2）中的等号成立。

（3）对于多元联合信源，若其联合概率密度为p(xy?z)，则其共熵为 H(X,Y?,Z)??并且存在

H(X,Y,?,Z)?H(X)?H(Y)???H(Z) 当信源彼此独立时，等号成立。 8.1.5连续信源的熵速率和墒功率

信源在单位时间内输出的熵称为信源的熵速率。连续信源的熵是连续信源每个样值的熵，它由信源概率分布密度来表示。如果信源是时间连续、信号带宽为B的连续信源，根据随机信号的采样定理，可用2B的速率对信源进行采样。因此，连续信源的熵速率为

??????????p(xy?z)log(xy?z)dxdy?dz

???

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库信息理论基础(7)在线全文阅读。