信息论期末复习(6)

二、信息率失真函数R(D)

R(D)

p(bj/ai) PD

minI(X;Y)

已知信源概率分布为

a2, , X a1,

p(a),p(a), ,p(a)2 i 1an

p(an)

失真函数为d(ai,bj) 1. 求Dmin，Dmax （1）Dmin

p(a)mind(a,b)

i

i 1

j

i

j

n

（2）Dmax min

j

p(b)D

j

j 1

n

j

，其中，Dj

p(a)d(a,b)

i

i

j

i 1

n

2. 求R(Dmin)，R(Dmax) 对于n元等概率分布信源，

D

R(D) lnn

香浓第三定理——信源编码定理

限失真信源编码定理：设一离散平稳无记忆信源的输出随机变量序列为 X=(X1,X2,…,XL)，若该信源的信息率失真函数是 R(D)，并选定有限的失真函数。对于任意允许平均失真度 D≥0，和任意小的ε>0，当信息率 R>R(D) ，只要信源序列长度 L 足够长，一定存在一种编码方式 C，使译码后的平均失真度 D ( C ) D ；反之，若 R<R(D)，则无论用什么编码方式，必有 D ) D ，即译码平均失真必大于(C允许失真。

信息率失真函数也是一个界限。只要信息率大于这个界限，译码失真就可限制在给定的范围内。即通信的过程中虽然有失真，但仍能满足要求，否则就不能满足要求。

信源编码的目的是提高通信的有效性。

D

ln

(n 1)

(1

D

)ln1(

D

)

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库信息论期末复习(6)在线全文阅读。