I(X;Y)???pipijlni?1j?1nmpijqj （7——36）
极小值问题。应用拉格朗日乘法，引入乘子s和?i(i?1,2,?,n)，将上述条件问题化成无条件极值问题：
m? [I(X;Y)?sD??i?pij]?0 (7——37)
?pijj?1由（7——37）解出pij，代入式（7——36）中得到约束条件式（7——35）下的I(X;Y)极小值，即R(D)。
pij??I(X;Y)??nm????pipijln???pij?pij?qj??i?1j?1?mn???nm???pipijlnpij??(?pipij)lnqj???pij?i?1j?1j?1i?1?mn???nm???pipijlnpij??(?qjlnqj???pij?i?1j?1j?1i?1?????1?qj?qj?1?pilnpij???qj?lnqj???pipijpq?p?p???ijjijij?????pijpi?pilnpij?pi?pilnqj?pilnqj???????nm?sD???s??pipijdij??spidij?pij?pij?i?1j?1?? ?pij?m???i?pij???i?j?1?
所以（7——37）变为 pilnpijqj?spidij??i?0 （7——38）
(i?1,2,?,n);j?(1,2,?,m) 由式（7——38）解得
pij?qjexp{sdij}exp{?ipi} （7——39）
(i?1,2,?,n);j?(1,2,?,m)
令?i?exp???i??，代入式（7——39）可得到 ?pi? pij??iqjexp{sdij} (i?1,2,?,n);j?(1,2,?,m) （7——40） 由
?pj?1mij?1，将式（7——40）对j求和可得到
m 1???qij?1j exp{sdij} (i?1,2,?,n) （7——41）
由（7——41）可解出?i的值 ?i?1?qj?1m （7——42）
jexp{sdij}由qj??ppii?1nij，将式（7——40）两边同乘pi，并对i求和可得到
nn qj?即
?ppii?1ij???ipiqjexp{sdij} j?(1,2,?,m)
i?1??pii?1niexp{sdij}?1 j?(1,2,?,m) （7——43）
将式（7——42）代入式（7——43）中，可得到关于qj的m个方程
?i?1npiexp{sdij}?ql?1m?1 j?(1,2,?,m) （7——44）
lexp{sdij}由（7——44）中可以解出以s为参量的m个qj值，将这m个qj值代入式（7——42）中可以解出以s为参量的n个?i值，再将解得的m个qj值和n个?i值代入式（7——40）中，可以解出以s为参量的mn个pij值。
将解出的mn个pij值代入（7-3）中求出以 D(s)?s为参量的平均失真度D(s)
???pqiii?1j?1nmjexp{sdij} （7——45）
其中?i和qi由式（7——41）和（7——44）求的。
将解出的mn个pij值代入式（7——36）中得到在约束条件（7——35）下的I(X,Y)的极小值，即以s为参量的信息率失真函数R(s)
R(s)????ipiqjexp{sdij}lni?1j?1nm?iqjexp{sdij}qj????pqiii?1j?1nnmjmexp{sdij}(ln?i?sdij)?nm
?pi?1ni ln?i[??iqjexp{sdij}]?s???ipiqjexp{sdij}? （7——46）
j?1mi?1j?1?pi?1niln?i(?pij)?sD(s)?j?1?pi?1iln?i?sD(s)一般情况下，参量s无法消去，因此得不到R(D)的闭式解，只有在某些特定的简单问题才能消去参量s，得到R(D)的闭式解，。若无法消去参量s就需要进行逐点计算。下面分析一下参量s的意义。
将R(D)看成D(s)和s的隐函数，而?i又是s的函数，利用全微分公式对R(D)求导，可得
dR(D)?R(s)?R(s)?ds?n?R(s)?d?i??????????dD?D(s)?s?dD?i?1??i?dD?npd?ds??i?i? s?D(s)dDi?1?idD (7——47)
s?[D(s)??i?1npi?i?d?ids]dDdD为求出
d?i，将式（7——41）对s求导，得到 ds
?[piexp{sdij}i?1nd?i??ipidijexp{sdij}]?0 ds将上式两边同乘以qj，并对j求和，可得
?qj?[piexp{sdij}j?1i?1mnd?i??ipidijexp{sdij}]?0 ds即
nm?m?d?i ?pi??qjexpsd{ij}?????ipidijexpsd{ij}?0
i?1?j?1?dsi?1j?1n将（7——42）和（7——45）代入上式可得
?pii?1n1d?i?D(s)?0 （7——48）
?ids将式（7——48）代入式（7——47）中可得
dR(D)?s （7——49） dD式（7——49）表明，参量s是信息率失真函数R(D)的斜率。由R(D)在0?D?Dmax之间是严格单调减函数可知，s是负值，且是D的递增函数，即s将随着D的增加而增加。由R(D)的严格性质可知，在D?0处，R(D)的斜率有可能为??；当D?Dmax时，
R(D)?0,其斜率为零。所以以参量s的取值为(??,0)。进一步还可以证明：信息率失真
函数R(D)是参量s的连续函数；R(D)的斜率，即参量s是失真度D的连续函数，在
D?Dmax处，R(D)的斜率可能是不连续的。
7.4.2 应用参量表示式计算R(D)的例题
为了熟悉利用参量表示式计算R(D)的方法，给出两个简单的例题，应用参量表示式来计算
R(D)。
例7.4.1 二进制对称信源，设信源输入符集号为(0,1)，其中p(0)?p，p(1)?1?p，
p?1。失真函数定义为 2 dij??
?0i?j i,j?1,2
?1i?j设输出符号集为(0,1)，求信息率失真函数R(D)。 解：引入记号：p1?p(0)?p，p2?p(1)?1?p。 （1） 由式（7——43）计算?1和?2
???1p1exp{sd11}??2p2exp{sd21}?1
??1p1exp{sd12}??2p2exp{sd22}?1解出?1和?2为
?1?
exp{sd22}?exp{sd21}p1[exp{sd11?sd22}?exp{sd12?sd21}]exp{sd11}?exp{sd12}p1[exp{sd11?sd22}?exp{sd12?sd21}]
?2?将已知量代入得
1p[1?exp{s}]
1?2?(1?p)[1?exp{s}]?1?（2） 由式（7——42）计算q1和q2
1?qexp{sd}?qexp{sd}?11212?1?1? ?
1?qexp{sd}?qexp{sd}?121222??2?解出q1和q2为
1q1?
?11exp{sd22}?1?21exp{sd12}
exp{sd11?sd22}?exp{sd12?sd21}q2??2exp{sd11}??1exp{sd21}exp{sd11?sd22}?exp{sd12?sd21}将已知量及求得的?1和?2代入得
p?(1?p)exp{s}1?exp{s}
(1?p)?pexp{s}q2?1?exp{s}q1?（3） 将求得的?1,?2和q1,q2代入式（7——45）得到平均失真度D(s)
百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库信息理论基础(4)在线全文阅读。
相关推荐：