信息理论基础(6)

1?exp[?(1?所以有

pij??ipi)]?qjexp(sdij)

j?1mqjexp(sdij)?qexp(sdll?1m (i?1,2,?,n;j?1,2,?,m) （7——55）

ij)由于F(s,pij,qj)是pij的下凸函数，其极值必为极小值。因此（7——55）是使F(s,pij,qj)*极小的pij，即

pij?*qjexp(sdij)?qexp(sdll?1m (i?1,2,?,n;j?1,2,?,m) （7——56）

ij)*（3）将求得的pij和q*，就得到信息率失真函数R(D)j代入式（7——51）和式（7——52）

的参量表达式。

nm?*?D(s)???pipijdij ? i?1j?1?R(s)?sD(s)?F(s,p*,q*)ijj?将上述过程综合，可以得到迭代算法的步骤如下。 （1） 首先设定s值，赋给pij(1)初值，一般可取pij(1)?1,i?1,2,?,n;j?1,2,?,m，n其中括号中的值是迭代次数，在给定pij(1)条件下求使F(s,pij,qj)极小的qj(1)，

j?1,2,?,m。

qj(1)??pp(1)

iiji?1nj?1,2,?,m

（2） 其次，在计算出的qj(1)条件下求使F(s,pij,qj)极小的pij(2)，

i?1,2,?,n;j?1,2,?,m。

pij(2)?qjexp(sdij)?qexp(sdllm (i?1,2,?,n;j?1,2,?,m)

il)（3） 重复步骤（1）和（2），计算出第k次迭代的pij(k)和qj(k)，

i?1,2,?,n;j?1,2,?,m。同时计算第k次迭代后的R(s)值。

R(s)?s??pp(k)?F[s,p(k),q(k)]

iijijji?1j?1nm当R(s)趋于稳定时，即相邻两次迭代后得到的R(s)值小于预先给定量，取迭代结果

*和q*F(s,pij,qj)极小的pijj，即

*pij?pij(k)

q?qj(k)*j (i?1,2,?,n;j?1,2,?,m)

（4） 最后，将迭代算法得到的

*pij?pij(k)

q?qj(k)*j (i?1,2,?,n;j?1,2,?,m)

代入式（7——51）和（7——52），得到R(D)?D坐标图上的一点。

（5） 再给定新的s值重复步骤（1）到（4），得到R(D)?D坐标图上另一点。因为s的

取值范围是(??,0)，所以要得到整个R(D)曲线，可选取一充分大的负值s开始上述迭代过程，计算D(s)和R(s)；然后逐渐增加s值，计算相应的D(s)和R(s)，当R(s)接近于零时，计算过程即可停止，得到整个曲线。

习题7

7.1设输入符号集X?{0,1},输出符号集为Y?{0,1}。定义失真函数为

d(0,0)?d(1,1)?0

d(0,1)?d(1,0)?1试求失真矩阵D。

1,2,3}，且输入信源的分布为 7.2设输入符号集与输出符号集为X?Y?{0，? P（X?i）设失真矩阵为

1 (i?0,1,2,3) 4?0?1 ?d????1??1求Dmax和Dmin及R(D)。

101111011?1?? 1??0?7.3利用R(D)的性质，画出一般R(D)的曲线并说明其物理意义？试问为什么R(D)是非负且非增的？ 7.4设二进制信源为

?X??0 ????1?2?P??失真函数矩阵为

1?1? ?2??0?? [d]???

?0??求这个信源的Dmin和Dmax及率失真函数R(D)。 第8章连续信源和波形信道

在通信系统中，所传输的消息可分为离散消息和连续消息。关于离散消息（离散信源），前几张已经进行了详细的论述。本章将重点介绍连续信源及其相关问题。 8.1连续信源的特征 8.1.1连续信源

在实际应用中，信源的输出往往是时间的连续函数，诸如语音信号、电视图像等。由于它们的取值即是连续的又是随机的，所以这种信源称为连续信源，且信源输出的消息可以用随机过程来描述。对于某一连续信源X（t），当给定某一时刻t?to时，其取值是连续的，即时间和幅度均为连续函数。

根据随机过程理论可以看到，连续信源中消息数是无限的，其每一可能的消息是随机过程的一个样本函数。通常可以用有限维概率密度函数来描述连续信源。

若给定n个时刻ti,i?1,2,?,n，随机变量X(ti),i?1,2,?,n的联合分布函数为 F(x1,x2,?,xn;t1,t2,?,tn)?P{X(t1)?x1,X(t2)?x2,?,X(tn)?xn} 如果F(x1,x2,?,xn;t1,t2,?,tn)的n阶偏导数存在，则有

?nF(x1,x2,?,xn;t1,t2,?,tn) p(x1x2?xn;t1t2?tn)?

?x1?x2??xn称上式为随机过程X(t)的n维概率密度函数。 若满足

p(x1x2?xn;t1t2?tn)??px(x;t)

iiii?1n式中，pxi(xi;ti)为X(t)的边沿概率密度，则称这种随机过程为独立的随机过程。 一般来讲任何一个随机过程都可以用一组随机变量来表示。因此，研究连续信源可以首先对单个随机变量情况进行讨论，然后推广到n维情况。 8.1.2 连续信源的熵

最简单的连续信源可以用一维随机变量描述。随机变量X存在非负函数p(x)，且

????p(x)dx??，并且F(x)?P(X?x)??p(?)d?

??x则称X具有连续型分布，或称X为连续随机变量。p(x)为概率密度函数，F(x)为概率分布函数。

连续随机变量X满足： （1）p(x)?0 （2）

????p(x)dx?1

（3）F(x)为单调非降函数

（4）F(x)左连续，即F(x)?F(x?0)?F(x) （5）limF(x)?0,limF(x)?1

x???x????为清楚起见，简单连续信源的模型写为

??X??x??p(x)?p(x)dx?1? （8——1） ???????P??(b?a)，x?[a?(i?1)?x,a?i?x]，则连续信源模型可改写成

in假设x?[a,b]，令?x?离散信源模型

x?[a?(i?1)?x,a?i?x]??X??i? ????a?i?xp?p(x)dx??P???i?a?(i?1)?x?由积分中值定理不难得到 pi??a?i?xa?(i?1)?xp(x)dx?p(xi)?x

根据离散信源熵的定义，则

H(X)???pilogpi?i?1n ??p(x)?xlogp(x)?x?iii?1nni?1i?1n

??[p(xi)logp(xi)]?x??p(xi)?xlog?x当n??时，即?x?0时，由积分定义，则有

H(X)?limHn(X)?n?? ??babp(x)logp(x)dx?lim?p(x)log?xdx?

?x?0a?x?0b??p(xi)logp(x)dx?limlog?xa上式中第一项具有离散信源熵的形式，第二项为无穷项。

定义8.1.1对于连续信源X，若其概率密度为p(x)，则连续信源的熵为 H(X)??????p(x)logp(x)dx （8——2）

连续信源的熵与离散信源的熵具有相同的形式，但其意义不相同。连续信源熵与离散信源熵相比，去掉了一个无穷项。连续信源的不确定性应为无穷大，由于实际生活中常常关心的是熵之间的差值，无穷项可以相互抵消，故这样定义连续信源的熵不会影响讨论所关心的交互

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库信息理论基础(6)在线全文阅读。