信道容量的计算

§4.2信道容量的计算

这里，我们介绍一般离散信道的信道容量计算方法，根据信道容量的定义，就是在固定信道的条件下，对所有可能的输入概率分布P(x)求平均互信息的极大值。前面已知I?X;Y?是输入概率分布的上凸函数，所以极大值一定存在。而I(X;Y)是r个变量

r{p(x1),p(x2),?p(xr)}的多元函数。并且满足?p(xi)?1。所以可用拉格朗日乘子法来

i?1计算这个条件极值。引入一个函数：??I(X;Y)???p(xi)解方程组

i?[I(X;Y)?????p(xi)?ip(xi)]?p(xi)?0

?ip(xi)?1 （4.2.1）

可以先解出达到极值的概率分布和拉格朗日乘子?的值，然后在解出信道容量C。因为

rsI(X;Y)???i?1j?1p(xi)Q(yixi)logQ(yixi)p(yi)

r而p(yi)??i?1p(xi)Q(yixi)，所以

??p(xi)logp(yi)?(?p?lnp(yi))loge?(x)iQ(yixi)p(yi)loge。

解（4.2.1）式有

s?j?1Q(yixi)logQ(yixi)p(yi)rs???i?1j?1p(xi)Q(yixi)Q(yixi)p(yi)loge???0

（对i?1,2,?,r都成立） 又因为

r ?k?1p(xk)Q(ykxk)?p(yj)

s ?Q(yj?1jxi)?1,i?1,2,?,r

所以(4.2.1)式方程组可以转化为

s

?j?1rQ(yjxi)logQ(yjxi)p(yj)???loge(i?1,2,?,r)

?i?1p(xi)?1

假设使得平均互信息I(X;Y)达到极值的输入概率分布{p1,p2,?pr}这样有

rs

??i?1j?1p(xi)Q(yjxi)logQ(yjxi)p(yj)???loge

从而上式左边即为信道容量，得 C???loge 现在令

s I(xi;Y)??j?1Q(yjxi)logQ(yjxi)p(yj)

式中，I(xi;Y)是输出端接收到Y后获得关于X?xi的信息量，即是信源符号X?xi对输出端Y平均提供的互信息。

一般来讲，I(xi;Y)值与xi有关。根据（4.2.2）式和（4.2.3）式， I(xi;Y)?C (i?1,2,?,r) 所以对于一般离散信道有如下定理。

定理4.2.1 一般离散信道的平均互信息I(X;Y)达到极大值（即等于信道容量）的充要条件是输入概率分布{p(x1),?,p(xn)}满足

(a) I(x1;Y)?C 对所有的xi,p(xi)?0 (b) I(xi;Y)?C 对所有的xi,p(xi)?0 这时C就是所求的信道容量。

对于离散信道来说，其实信道容量还有一个解法：迭代解法。

定理4.2.2 设信道的向前转移概率矩阵为Q?(Q(yjxi))K?J，P是任给的输入字母的一个初始概率分布，其所有分量P(xk)?0。按照下式不断地对概率分布进行迭代，更新：

r?1r00P(xk)?P(xk)?k(P)Kr

?i?1rP(xi)?i(P)

rr其中 ?k(P)?exp[I(X?xk;Y)]P?Pr

??J??exp??Q?yjxk?log?j?1

???Q?yjxi????Kr ?PQ?yjxi???i?1?由此所得的I?P,Q?序列收敛于信道容量C。

r我们还可以将上述过程写成算法以便编制程序实现（如图4.2.1）

K IL?log{?k?1P(xk)?k(P)}

IU?log{max?k(P)}

k 开始

KIL?log{?k?1P(xk)?k(P)} P0?P IU?log{max?k(P)} k?k(P) IL(P)

IU(P)

IU?IL??

C?IL

P(x)?P(x)

图4.2.1 信道容量的迭代算法

对于一些特殊的离散信道，我们有方便的方法计算其信道容量。

?(P)??1P(x)?(P) 定义4.2.1 设X和Y分别表示输入信源与输出信源，则我们称H?XY?为损失熵，

H?YX?为信道噪声熵。

如果信道的损失熵H?XY??0，则次信道容量为

C??maxI?X;Y??max?H(x)?H?XYP(x)P(x)???maxH(X)?1ogr（bit/符号）这里输入

P(x)信源X的信源符号个数为r。

如果信道的噪声熵H?YX??0，则此信道容量为

C???maxI?X;Y??maxH(Y)?logs（bit/符号）

P(x)P(x)这里输出信源符Y的符号个数为s.

定义4.2.2 一个信道Q称为对称离散信道，如果它满足下面的性质： （1）信道Q矩阵中每一行是另一行的置换； （2）每一列式另一列的置换。 例如，信道矩阵

??Q?????131613161613?11????26?11?和Q???6?3??1??31312161??6?1? ?31??2?满足对称性，所以对应信道是对称离散信道。 定义4.2.3 对称离散信道的信道容量为

C?logs?H?P1?,P2?,?,Ps?? （bit/符号）

上式只与対称信道矩阵中行矢量{P1?,P2?,?,Ps?}和输出符号集的个数s有关。

证明 I(X;Y)?H(Y)?H?YX? 而 H?YX?? ??xP(x)?P?yx?logy1p?yx?

?xP(x)H?YX?x?

由于信道的对称性，所以H?YX?x?与x无关，为一常熟，即 C?max?H(Y)?H?P1?,P2?,?,Ps???

P(x) ?logs?H(P1?,P2?,?,Ps?) 接着举一个例子加以说明。

例4.2.1 某对称离散信倒的信道矩阵为

??? P?????1316131616131??6?? 1??3?用公式计算信道容量

C?log4?H(,,?1?313131111,)

3366 ?2??log?log13?16log16?16log1?? 6? ?0.0817（bit/符号）

定义4.2.3 若信道矩阵Q的列可以划分成若干互不相交的子集矩阵BK，即

Bi?Bj??,(i?j)且B1?B2???Bn?Y。由BK为列组成的矩阵Qk是对称矩阵，

则称信道矩阵Q所对应的信道为准对称信道。

例如，信道矩阵

???P1?????1316131316161??6??0.7?P? ?2??0.21??3?

0.10.10.2??? 0.7?都是准对称信道，在信道矩阵P1中，Y可以划分为三个子集，由子集的列组成的矩阵为

??? ????13161??6?? ， 1??3??1????3??? ， ?1????3????????1??6?? 1??3?它们满足对称性，所以P1对应的信道是准对称信道。同理P2可划分为 ???0.7?0.20.2??? ， 0.7??0.1????? ?0.1?这两个矩阵也满足对称性。

下面，我们给出准对称离散信道的信道容量计算公式

n C?logr?H(P1?,P2?,?,Ps?)??k?1NklogMk

其中，r是输入符号集的个数，(P1?,P2?,?,Ps?)为准对称信道矩阵中的行矢量。设矩阵可划分为n个互不相交的子集。Nk是第k个子矩阵Qk中行元素之和，Mk是第k个子矩阵Qk中列元素之和，即 Nk??P?yx?

iy?Yk

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库信道容量的计算在线全文阅读。