信道容量的计算(2)

Mk??P?yx?,y?Yixk,(k?1,2,?,n)

并且可以证明达到准对称离散信道容量的输入分布式等概分布，我们将推导作为习题留给读者。

例4.2.2 设信道传递矩阵为

0 0 p?1?p?qq? 1-p-q ?P???? pq1?p?q? ? q 可表示成如图4.2.2所示，计算其信道容量

p 根据上面计算公式可得

N1?1?q,N2?q p 2 M1?1?q,M2?2q q 则有

C?log2?H(1?p?q,q,p) 1-p-q 1 1 (?q)?qlog2q ?(1?q)log12(?p?q)?(1?q)log ?plogp?(1?p?q)log11?q 图4.2.2

下面我们举一些其他信道容量的例子

例4.2.3 设离散信道如图4.2.3所示，输入符号集为{a1,a2,a3,a4,a5}，输出符号集为{b1,b2}，信道矩阵为

X Y a1 a2 b1

a3 a4 b2

a5

图4.2.3

?????P?????? ?1112000??0???1?2??1??1?

a5由于输入符号a3传递到b1和b2是等概率的，所以a3可以省去。而且a1,a2与a4，

都分别传递到b1和b2，因此可只取a1和a5，所以设输入概率分布P(a1)?P(a5)?P(a2)?P(a3)?P(a4)?0，可以计算得P(b1)?P(b2)?1212，

，由定理4.2.1得

I(x?a1;Y)?I(x?a2;Y)?log2 I(x?a4;Y)?I(x?a5;Y)?log2 I(x?a3;Y)?0

可见，此假设分布满足定理4.2.1，因此，信道容量 C?log2?1 （bit/符号） 最佳分布是P(a1)?P(a5)?12,p(a2)?P(a3)?P(a4)?0

14,P(a3)?0。同理可得

若设输入分布为P(a1)?P(a2)?P(a4)?P(a5)?P(b1)?P(b2)?12，根据定理4.2.1有

I(xi;Y)?log2 (xi?a1,a2,a4,a5) I(xi;Y)?log2 (xi?x3) 从而，输入分布P(a1)?P(a2)?P(a4)?P(a5)?14,P(a3)?0也是最佳分布，可

见，信道最佳输入分布不是唯一的。

对于一般的离散信道，我们很难利用特殊计算方法，因此只能采用解方程组式（4.2.2）的方法。

我们将（4.2.2）式的前r个方程组改写成

?Q?yj?1sixi?log?yixi???Q?yj?1sixi?logP(yi)?C

(i?1,2,?,r)

移项后得

?Q?yj?1sjxi?C?logP(yj)????Q?yj?1sjxi?logQ?yjxi?

(i?1,2,?,r) 令?j?C?logP(yj)，代入上式得

?Q?yj?1sjxi??j??Q?yj?1sjxi?log?yjxi?

(i?1,2,?,r) 化为矩阵形式为

?H?Yx1????1??????H?Yx2????2? Q??????

??????????H?Yx??r??s??这是含有s个未知数?j,r个方程的非齐次线性方程组。

如果设r?s，信道矩阵Q为非奇异矩阵，则此方程组有解，并且可以求出?j的数值，然后根据?P?yj??1求得信道容量

j?1s C?log?2j?j （bit/符号）

由这个C值可解得对应的输出概论分布P(yj)。 P(yj)?2r?j?C (j?1,2,?,s)

再根据P(yj)?分布{P(xi)}。

?i?1P(xi)Q?yjxi?,j?1,2,?s,即可解出达到信道容量的最佳输入

下面给出一例。

例4.2.4 设离散无记忆信道输入X的符号集为{a1,a2,a3,a4}，输出Y的符号集为

{b1,b2,b3,b4}，如图4.2.4所示。其信道矩阵为

?????Q???????12001414100001141??4??0? 0???1??2? X Y a1 1/2 1/4 1/4

a2 1 b2 a3 1 b3

b1

1/4 1/4 a4 1/2 b4 我们才用上面所讲的方法来计算信道容量： 12?1?14?2?14?4?12log12?14log14?14log14

?2?0 ?3?0

14?1?14?3?14?4?14log14?14log14?12log12

解方程组得

?2??3?0;?1??4??2;

信道容量 C?log2(2又求得输出分布

?2?2?2?200?2)?log25?1 （bit/符号）

P(b1)?P(b4)?2 P(b3)?P(b2)?因此可以求得最佳输入分布为 P(a1)?P(a4)?(?2?log25?1)?110

410

430

P(a2)?P(a3)?1130

例4.2.5 设有两个独立并联信道如图4.2.5，计算它的信道容量。 X1 信道 Y1 1

Q?y1x1?

X2 信道 2 Y2 Q?y2x2?

解 根据定理4.1.1有

2 I(X1X2;Y1Y2)??i?1I(Xi;Yi)

即联合平均互信息不大于各自信道的平均互信息之和，因此得到独立并联信道的信道容量为

2 C1,2?maxI(X1X2;Y1Y2)?p(x1x2)?Ci?1i

Ci?maxI(Xi,Yi)，是个独立信道的信道容量。

p(xi) 只有当输入符号xi互相独立，且输入符号xi的概率分布达到各子信道容量的概率分布时，独立并联信道的信道容量才等于各信道容量之和，即

2 C1,2??Ci?1i

这个方法推广到N个独立并联信道容量的计算，即有

N C1,2,?,N?maxp(x1x2?xN)I(X1X2?XN;Y1Y2?YN)??Ci?1i

对于信道Ⅰ和Ⅱ，我们将它串联起来组成新的信道（如图4.2.6）

X 信道 Y Z 信道Ⅰ 信道Ⅱ

图4.2.6

则此信道容量为 C串(?,??)?maxI(X;Z)

p(x)例4.2.6 设有两个离散二元对称信道（BSC信道），其串联信道如图4.2.7，并设第一个信道输入符号集的概率空间为

0,?X???? ?????1,?P(x)??21?1? ?2?

X 二 元 对 信 Y 二 元 对 称 Z 称信 道 Ⅰ 道 Ⅱ

图4.2.7 而两个信道的信道矩阵分别为 Q1?Q2?????1?pp??? 1?p?p所以串联信道总的信道矩阵为

?(1?p)2?p2 Q?Q1?Q2????2p(1?p)2p(1?p)?? 22?(1?p)?p?根据平均互信息定义

I(X;Y)?1?H(p) （bit/符号） I(X;Z)?1?H[2p(1?p)] （bit/符号）

其中，I(X;Y)?I(X;Z)（根据信息不增原理）。因此，当串联信道数目越多时，损失的信息越多，可证：limI(X;Xn)?0。

n??对于本例中两个串联的二元离散对称信道，其信道容量为

C串(?,??)?maxI(X;Z)?1?H(2p(1?p)) （bit/符号）

p(x)

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库信道容量的计算(2)在线全文阅读。