信息理论基础

7.2信息失真函数

7.2.1D允许信道（试验信道）

对于信息容量为C的信道传输，信息传输率为R时，如果R?C,就应该对信源压缩，使其压缩后信息传输率R小于信道容量C，但同时要保证压缩所引入的失真不超过预先规定的限度。

如果预先规定的平均失真度为D，则称信源压缩后的平均失真度D不大于D的准则为保真度准则，即保真度准则满足

'D?D

信息压缩问题就是对于给定的信源，在满足保真度准则的前提下，是信息率尽可能小。将满足保真度准则D?D的所有信道称为失真度D允许信道（也称D允许的试验信道），记为

BD?{p(y|x):D?D} (7-5)

式中，D为（7-3）。

对于离散无记忆信道，相应的有

BD?{p(yj|xi):D?D} (i?1,2,?,n;j?1,2,?,m)

7．2．2 信息失真率函数的定义

在D允许信道BD中可以找到一个信道p(X|Y),使给定的信源经过此信道传输时，其信道传输率I(X,Y)达到最小，定义为失真率失真函数R(D)，也称为率失真函数，即

R(D)?minI(X,Y) (7-6)

p(y|x)?BD 对于离散无记忆信源，率失真函数R(D)可写成

R(D)?minp(y|x)?BD??p(x)p(yii?1j?1nmj|xi)?logp(yj|xi)p(yj)

式中，p(xi)是信源符号概率分布，i?1,2,?,n；p(yj|xi)是转移概率分布

(i?1,2,?,n;j?1,2,?,m)；p(yj)是接收端收到符号概率分布，j?1,2,?,m。

对于给定的信源，在满足保真度准则D?D的前提下，信息率失真函数R(D)是信息率允许压缩到的最小值。

7.2.3 信息失真率函数R(D)的性质

1. R(D)的定义域

由于平均失真度D是失真函数d(x,y)的数学期望，且d(x,y)?0，所以平均失真度D是非负的，即D?0，其下界Dmin?0，对应于无失真情况。对于无失真信息传输，信息传输率应小于或等于信源的熵，即

R(0)?H(X)

由于I(X,Y)?0，而R(D)是在约束条件的I(X,Y)的最小值，所以R(D)?0，是非负的函数，其最小值应为零，取满足

R(D)?0

的所有D中最小的，定义为R(D)定义域的上限Dmax，即Dmax是满足R(D)?0 的所有平均失真度D中的最小值。 根据前面的分析，可以得到

的定义域为D?[0,Dmax]

R(D)定义域上的上限Dmax可以这样定义：令PD是使I(X,Y)?0的全体转移概率集合，所以

Dmax?minE[d(x,y)]

p(y|x)?PD 由于I(X,Y)?0的充要条件是X与Y统计独立，即对于所有的x?X和y?Y满足 p(y|x)?p(y) 所以有

Dmax?min?p(y)?p(x)d(x,y)

YX由于信源概率分布p(x)和失真函数d(x,y)已经给定，因此求Dmax相当于寻找分布p(y)使上式右端最小。如果选取取p(y)?0，则有

Dmax?miny?Y?p(x)d(x,y)最小时p(y)?1，而对其他的?p(x)d(x,y)选

XX?p(x)d(x,y)

X 需要说明一下，Dmin?0只有满足失真函数矩阵的每一行至少存在一个为零的元素时才能达到。当不满足时，Dmin?0，此时Dmin的求法如下

Dmin?minE[d(x,y)]?min?p(x)?p(y|x)d(x,y)?

p(x|y)p(y|x)XY?p(x)[min?p(y|x)d(x,y)]Xp(y|x)Y

对于给定的x，选取d(x,y)最小时，p(y|x)?1，其他p(y|x)?0，则有 minp(y|x)?p(y|x)d(x,y)?mind(x,y)

Yy?Y所以

Dmin??p(x)[mind(x,y)]

Xy?Y 假如假定信源分布为p(x1)，p(x2)，失真矩阵为 [d]??则可以求得 Dmin???1? (0???1) ??1???p(x)[mind(x,y)]

Xy?Y p(x1)[min{?,1}]?p(x2)[min{1,?}]? p(x1)??p(x2)??? Dmax?miny?Y?p(x)d(x,y)?

X min{p(x1)??p(x2),p(x1)?p(x2)?} 2. R(D)是关于D的下凸函数

假定D1和D2是两个失真度，p1(y|x)和p2(y|x)是在满足保真度准则D1和D2的前提下，使I(X,Y)达到极小的信道，即 R(D1)? R(D2)?所以有

p(y|x)?BD1minI[p(y|x)]?I[p1(y|x)] minI[p(y|x)]?I[p2(y|x)]

p(y|x)?BD2??p(x)p(y|x)d(x,y)?D

11XY??p(x)pXY2(y|x)d(x,y)?D2

令0???1，且

D0??D1?(1??)D2

p0(y|x)??p1(y|x)?(1??)p2(y|x) 并记D是p0(y|x)所对应的失真度。则有 D???p(x)p(y|x)d(x,y)?

0XY???p(x)p1(y|x)d(x,y)?XY (1??)??p(x)p(y|x)d(x,y)?

1XY?D1?(1??)D2?D0所以p0(y|x)?BD0,即p0(y|x)是满足保真度准则D0的信道。由信息率失真函数定义得 R(D0)?p(y|x)?BD0minI[p(y|x)]?I[p0(y|x)]?

I[?p1(y|x)?(1??)p2(y|x)]?

?I[p1(y|x)]?(1??)I[p2(y|x)]?

?R(D1)?(1??)R(D2)

因此可以证明R(D)是D的下凸函数。 3. R(D)在区间(0,Dmax)上是严格的递减函数

R(D)显然是连续函数，因为I[p(y|x)]是p(y|x)的连续函数，由和知R(D)是连续函数。

R(D)显然是非增函数，因为若D1?D2,则满足保真度D1和D2的试验信道集合BD1和

R(D)的定义可

BD2有BD1?BD2,由R(D)的定义有

R(D1)? R(D2)?p(y|x)?BD1minI[p(y|x)] minI[p(y|x)]

p(y|x)?BD2 因为BD1?BD2，而在一个较大范围内求极小值一定不大于在其中一个小范围内求极小值，即

所以有

R(D1)?R(D2)

p(y|x)?BD1minI[p(y|x)]?minI[p(y|x)]

p(y|x)?BD2要证明R(D)是单调非递减函数，只需证明上式中等号不成立，采用反证法。 在(0,Dmax)中任取亮点D1和D2,满足 0?D1?D2?Dmax

假定R(D1)?R(D2)中等号成立，则在(D1,D2)中R(D)为常数。以下证明在(D1,D2)中

R(D)不是常数。

根据R(D)的定义及定义域的讨论可知 R(D1)?p(y|x)?BD1minI[p(y|x)]?I[p1(y|x)]

R(Dmax)?I[pm(y|x)]?0 式中，pm(y|x)是失真率函数R(D)?0的信道。 在(0,1)区间选取?，以满足

D1?(1??)D1??Dmax?D2 令

D0?(1??)D1??Dmax 则有

D1?D0?D2 令

p0(y|x)?(1??)p1(y|x)??pm(y|x) 则p0(y|x)对应的平均失真度为 D?

??p(x)p(y|x)d(x,y)?

0XY(1??)??p(x)p1(y|x)d(x,y)????p(x)pm(y|x)d(x,y)

XYXY因为p1(y|x)，pm(y|x)是满足保真度D1和Dmax的信道，所以

??p(x)p(y|x)d(x,y)?D

11XY??p(x)pXYm(y|x)d(x,y)?Dmax

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库信息理论基础在线全文阅读。