信息理论基础(5)

D(s)??1p1q1d11exp{sd11}??1p1q2d12exp{sd12}??2p2q1d21exp{sd21}??2p2q2exp{sd22}?exp{s}1?exp{s}解出参量s为 s?lnD 1?D（4） 将参量s代入式（7——46）得到率失真函数R(D)

R(D)?sD(s)?p1ln?1?p2ln?2|

Ds?ln1?D?

?[plnp?(1?p)ln(1?p)]?[DlnD?(1?D)ln(1?D)]令p?1?p，D?1?D，则

R(D)??[plnp?plnp]?[DlnD?DlnD]?H(p,p)?H(D,D)

由R(D)和H(?,?)的性质可以确定出信息率失真函数的定义域0?D?p，p?为0?R(D)?H(p,p)。

1；值域2对于不同p值可得同一组R(D)的曲线，如图7.2所示。由图7.2可以看出，对于给定的平均是真度D，信缘分布越均匀（p值接近

1），R(D)就越大，即可压缩性越小；反之，信2源分布越不均匀，R(D)就越小，即可压缩性越大。

例7.4.2 r进制对称信源，设信源输入符号集为X?[x1,x2?,xr]，信源符号等概率分布

p(xi)?1，i?1,2,?,r，输出符号集为Y?{y1,y2?,yr}，失真函数定义为 r?0i?j(i,j?1,2,?,r) d(xi,yj)??i?j1?求信息率失真函数R(D)。 解：引入记号：pi?p(xi)?1，i?1,2,?,r；dij?d(xi,yj)，i,j?1,2,?,r；rqj?q(yj)，j?1,2,?,r。

（1） 由式（7——43）确定?i，i?1,2,?,r所满足的方程为

??1??2exp(s)????rexp{s}?r??exp{s}??????exp{s}?r?12r ??????1exp{s}??2exp(s)????r?r解得?i，i?1,2,?,r为 ?i?r i?1,2,?,r

1?(r?1)exp{s}（2） 由式（7——42）确定qj，j?1,2,?,r所满足的方程为

1?(r?1)exp{s}?q?qexp{s}???qexp{s}?2r?1r?1?(r?1)exp{s}?qexp{s}?q???qexp{s}??12r r?????qexp{s}?qexp{s}???q?1?(r?1)exp{s}12r?r?解得qj， j?1,2,?,r为 qj?1 （j?1,2,?,r） r（3） 将?i，i?1,2,?,r，qj， j?1,2,?,r代入式（7——45）中得 D(s)?(r?1)exp{s}

1?(r?1)exp(s)解得参量s为 s?lnD

(r?1)(1?D)（4） 将参量s代入式（7——46）中得到R(D)为

R(D)?sD(s)??piln?i|i?1rs?lnD(r?1)(1?D)? lnr?Dln(r?1)?DlnD?(1?D)ln(1?D)?

lnr?Dln(r?1)?H(D,1?D)由R(D)的性质可以确定出R(D)的定义域为0?D?1?1，值域为0?R(D)?lnr。 r对于不同的r值可以得到一组R(D)曲线，如图7.3所示。由图7.3可以看出，对于给定的

平均失真度D，r越大，R(D)越大，信源可压缩性越小；反之，r越小，R(D)越小，信源可压缩性越大。如果信源的分层数目为r，那么满足保真度准则D的前提下，分层越多，信源的可压缩性越小；反之，分层越少信源的可压缩性越大。

信息率失真理论给出了在制定失真度D条件下，信源熵H(X)所能压缩的下界R(D),并没有给出具体的压缩方法。 7.4.3 R(D)的迭代计算方法

计算信息失真函数R(D)的另一种方法是建立在参量表示法基础上的迭代算法。 设离散信源的输入序列为

?输出序列为

?X??x1????P??p1x2p2?xn? ??pn??Y??y1?q???q???1字符传输的失真函数为

y2?ym? ?q2?qm? dij?d(xi,yj) (i?1,2,?,n;j?1,2,?,m) 定义函数F(s,pij,qj)为

F(s,pij,qj)?I(pij;qj)?sD(pij)?

??pipijlni?1j?1nmpijqj?s??pipijdiji?1j?1nm

迭代算法计算R(D)的基本思想是：对于给定的平均失真度D若存在pij和qj，在满足约束条件

**?nm???pipijdij?D?i?1j?1 ?m i?1,2,?,r （7——50）

?p?1?ij?j?1?下，有

*F(s,pij,qj)?minF(s,pij,qj)

pij,qj*则R(D)的参量表达式为

D(s)???ppdii?1j?1nm*ijij （7——51）

* R(s)?sD(s)?F(s,pij,q*j) （7——52）

*式（7——51）和（7——52）显然成立，因为pij和q*，所以有 j满足（7——50）

nm D???ppdii?1j?1*ijij

上式以s为参量表示时就是（7——51）；而由已知条件知道，对于满足保真度准则D下的pij和qj有

*F(s,pij,qj)?minF(s,pij,qj)?pij,qj*min[I(pij;qj)?sD(pij)]?

pij,qjpij,qjpij,qjmin[I(pij;qj)?sD]?minI(pij;qj)?sD

代入式（7——52）中可得到

*R(s)?sD(s)?F(s,pij,qj)?

sD(s)?minI(pij;qj)?sDpij,qj

因为D(s)是D的参量表达式，即D(s)?D,所以 R(s)?minI(pij;qj)

pij,qj因此，R(s)是满足约束条件（7——50）下的I(pij,qj)的极小值，即信息率失真函数R(D)的参量表达式。

可以证明，F(s,pij,qj)是pij的下凸函数，R(D)的迭代算法如下。 (1) 固定pij，在

?ql?1ml?1约束条件下求F(s,pij,qj)的极值，化成无条件极值问题为

m? [F(s,pij,qj)???ql]?0 (j?1,2,?,m)

?qjl?1即

??i?1npipijqj???0 (j?1,2,?,m)

求解得

qj?上式两端对j求和得

1??ppii?1nij (j?1,2,?,m) （7——53）

1?1???pipij?j?1i?1mn1?

所以??1。由于F(s,pij,qj)是pij的下凸函数，其极值必为极小值。因此，式（7——53）是使F(s,pij,qj)极小的q*j，即 q?m*j?ppii?1nij (j?1,2,?,m) （7——54）

(2) 固定qj，在

为

?pl?1ij?1约束条件下求F(s,pij,qj)的极值，化成无条件极值问题

nm? [F(s,pij,qj)???i?pil]?0 (i?1,2,?,n;j?1,2,?,m)

?piji?1l?1即

pi?(1?lnpijqj)?spidij??i?0 (i?1,2,?,n;j?1,2,?,m)

求解得

pij?qjexp(sdij)exp[?(1?上式两端对j求和得

?ipi)] (i?1,2,?,n;j?1,2,?,m)

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库信息理论基础(5)在线全文阅读。