信息论期末复习(2)

三、平均互信息量 1. 定义：互信息

I(ai;bj) log2

p(aibj)p(ai)

I(ai) I(ai/bj)

(i 1,2, ,n;j 1,2, ,m)

在联合概率空间中的统计平均值。

平均互信息 I(X;Y) 2. 三种不同的表达方式：

p(aij)

p(ab)lo ij

p(ai)i 1j 1

n

m

I(X;Y) H(X) H(X/Y)

H(Y) H(Y/X)

H(X) H(Y) H(XY)

物理意义：（1）Y对X的平均互信息是对Y一无所知的情况下，X的先验不定度与收到 Y后关于X的后验不定度之差，即收到Y前、后关于X的不确定度减少 的量，也就是从Y获得的关于X的平均信息量。 3. 性质

由定义式I(X;Y)

p(a）p(b

i

i 1j 1

nm

j

/ai)log

p(aibj)p(ai)

我们可以知道

（1）平均互信息量I(X;Y)是输入信源概率分布{p(ai)}的上凸函数 （2）平均互信息量I(X;Y)是信道转移概率分布{p(bj/ai)}的下凸函数

四、最大连续熵定理

1. 限峰值功率的最大熵定理

若代表信源的N维随机变量的取值被限制在一定的范围之内，则在有限的定义域内， 均匀分布的连续信源具有最大熵。

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库信息论期末复习(2)在线全文阅读。