信息论期末复习(3)

2. 限平均功率的最大熵定理

若信源输出信号的平均功率P和均值m被限定，则其输出信号幅度的概率密度函数为 高斯分布时，信源具有最大熵。 3. 均值受限条件下的最大连续熵定理

若连续信源X输出非负信号的均值受限，则其输出信号幅度呈指数分布时，连续信源 X具有最大熵。

五、编码的基本概念

1. 及时码：若码中任一码子都不是另一码子的字头，称该码为及时码。 2. 唯一可译码

3. 编码速率：设离散信源输出的消息为L重符号序列消息，信源编码器采用m进制信 道符号对离散消息进行编码，生成的m进制代码组的长度为K,则信源编

K

log2mLH(X)

编码效率：

R

码速率为：R

bit/符号

香农第一定理——离散无失真信源编码定理 1. 定长编码定理

由L个符号组成的，每个符号的熵为H(X) 的平稳无记忆符号序列X1X2......XL，可用K个符号Y1Y2......YK（每个符号有m种可能取值）进行定长编码，对任意ε>0, δ>0,只要

K

log2m H(X) L

则当L足够大时，必可使译码差错小于δ，反之，当

K

log2m H(X) 2 L

译码必定出错。

2. 变长编码定理

若一离散无记忆信源的符号熵为H(X)，对信源符号进行m元变长编码，已定存在一种失真编码方法，其码字平均长度满足不等式：

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库信息论期末复习(3)在线全文阅读。