信息理论与编码基础复习题(4)

解 该编码规则为：x1→1，x2→01，x3→001，x4→001，每一码字均以1结尾，见1即可译码。对所接收序列的译码结果为x1，x2，x1，x1，x4，x3，?

96.一信源X（x1，x2，x3，x4），经编码后得到码字集合S（1，10，100，1000）且一一对应，现收到码序列10010111000110011010，试给出译码结果。

解 该编码规则为：x1→1，x2→10，x3→100，x4→1000。它的信道基本符号也是“1”、“0”，也是将“1”作为一个码字，但采用在它的后面加“0”构成新码字的方法。

x1?97.已知信源概率空间为：，计算?X??x0

?q(X)???0.50.5?????其信源的熵。

解：信源的熵 H(X) = - 0.5 log 0.5 - 0.5 log 0.5 = 1（比特/符号） 98.设信源为 ??X??x1x2????1/43/4?， P?X???试求（1）信源的熵、信息含量效率以及冗余度；

（2）求二次扩展信源的概率空间和熵。 解：（1）

H(X)?1/4log24?3/4log2(4/3)??H(X)/log22?H(X)??1???1?H(X)

（2）二次扩展信源的概率空间为： X\\X x1 x2 x1 1/16 3/16 x2 3/16 9/16

16

x1源x2x3?99.已知概率空间?X3?信?x0??q(X)??0.250.250.250.25?为： ，计算其信源3????的熵。

解：信源的熵 H(X3) = -4×0.25 log 0.25 = log4 = 2H(XX)?1/16log216?3/16log2(16/3)?3/16log2(16/3)?9/16log2(16/9)

（比特/符号）

100.设二元对称信道的输入概率分布分别为[PX]?[3/4转移矩阵为?P???2/31/3?Y|X?，

?1/32/3?（1）求信道的输入熵，输出熵，平均互信息量；? （2）求信道容量和最佳输入分布； （3）求信道剩余度。

解：（1）信道的输入熵H(X)?3/4log2(4/3)?1/4log24；

[P]???1/21/4?XY?1/121/6?? [PY]?[7/125/12]

H(Y)?7/12log2(12/7)?5/12log2(12/5)

H(Y|X)?3/4H(1/2,1/4)?1/4H(1/12,1/6) I(X;Y)?H(Y)?H(Y|X)（4

分）

（2）最佳输入分布为[PX]?[1/21/2]，

此时信道的容量为C?1?H(2/3,1/3) （3）信道的剩余度：C?I(X;Y)

/4]，

17

1

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库信息理论与编码基础复习题(4)在线全文阅读。