信息论期末复习(10)

4.（6分）有一信源它有四种可能的输出，其概率分布如下图所示，表中给出了对应的码A、B、C、D和E 。 1）求这些码中哪些是唯一可译码。 2）求哪些是非延长码（即时码）

3）对所有唯一可译码求出其平均码长和编码效率。

5、证明：H(X1X2 H X1X2

Xn) H(X1) H(X2) Xn

Xn|X1)

H(Xn|X1

H(Xn)

H(X1) H(X2 H(X1) H(X2)

H(X1) H(X2|X1) Xn 1)（因为条件熵小于无条件熵）

H(Xn)

6、若X，Y，Z是三个随机变量，证明 I（X；YZ）=I(X;Y)+I(X;Z/Y)

I(X;YZ) p(xiyjzk)log

i

j

k

p(xi/yjzk)p(xi)

(1.5分）

p(xiyjzk)log

i

j

k

p(xi/yjzk)p(xi/yj)p(xi)p(xi/yj)p(xi/yj)p(xi)

(1.5分）

p(xi/yjzk)p(xi/yj)

p(xiyjzk)log

i

j

k

p(xiyjzk)log

i

j

k

(1.5分）

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库信息论期末复习(10)在线全文阅读。