信息论与编码理论-第2章信息的度量-习题解答-20071017

第2章 信息的度量

习 题

2.1 同时扔一对质地均匀的骰子，当得知“两骰子面朝上点数之和为5”或“面朝上点数之和为8”或“两骰子面朝上点数是3和6”时，试问这三种情况分别获得多少信息量？

解：

某一骰子扔得某一点数面朝上的概率是相等的，均为1/6，两骰子面朝上点数的状态共有36种,其中任一状态出现都是等概率的,出现概率为1/36。设两骰子面朝上点数之和为事件a，有：

⑴ a=5时，有1+4，4+1，2+3，3+2，共4种，则该事件发生概率为4/36=1/9，则信息量为I(a)=-logp(a=5)=-log1/9≈3.17(bit)

⑵ a=8时，有2+6，6+2，4+4，3+5，5+3，共5种，则p(a)=5/36,则I(a)= -log5/36≈2.85(bit) ⑶ p(a)=2/36=1/18,则I(a)=-log1/18≈4.17(bit)

2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几”，则答案中含有多少信息量？如果你在已知今天是星期三的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）？

解：

设“明天是星期几”为事件a：

⑴ 不知道今天是星期几：I(a)=-log1/7≈2.81(bit) ⑵ 知道今天是星期几：I(a)=-log1=0 (bit)

2.3 居住某地区的女孩中有20%是大学生，在女大学生中有80%是身高1米6以上的，而女孩中身高1米6以上的占总数的一半。假如我们得知“身高1米6以上的某女孩是大学生”的消息，求获得多少信息量？

解：

设“居住某地区的女孩是大学生”为事件a，“身高1米6以上的女孩”为事件b，则有： p(a)= 0.2，p(b|a)=0.8，p(b)=0.5，

则“身高1米6以上的某女孩是大学生”的概率为：

p(a|b)p(a)p(b|a)0.20.80.32

p(b)0.5信息量为：I=-logp(a|b)=-log0.32≈1.(bit)

2.4 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志：“你是否是红绿色盲？”，他回答“是”或“否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？

解：

⑴ 男同志回答“是”的概率为7%=0.07，则信息量I=-log0.07≈3.84(bit) 男同志回答“否”的概率为1-7%=0.93，则信息量I=-log0.93≈0.10(bit)

1

信息论与编码理论

平均信息量为：H1=-(0.07×log0.07+0.93×log0.93) ≈0.37(bit/符号) ⑵ 问女同志的平均自信息量：H2=-[0.05×log0.05+(1-0.05) ×log(1-0.05)] ≈0.045(bit/符号)

2.5 如有7行9列的棋型方格，若有两个质点A和B，分别以等概率落入任一方格内，且它们的坐标分别为（XA，YA）、（XB，YB），但A、B不能落入同一方格内。

(1) 若仅有质点A，求A落入任一个格的平均信息量。 (2) 若已知A已落入，求B落入的平均自信息量。

(3) 若A、B是可分辨的，求A、B同时都落入的平均自信息量。 解：

⑴ 若仅有质点A，A落入任一格内的概率均为1/63，则A落入任一个格的平均信息量为：H(A)63log63log635.98(bit/符号)

i16311⑵ 若已知A已落入，质点B再落入时，它只可能落入其中63-1=62个方格内，则其概率均为p(b|a)=1/62，则B落入的平均自信息量为：

H(B|A)i16211loglog625.95(bit/符号) 6262⑶ A、B同时都落入的平均自信息量，即为求联合熵H(AB)：

H(AB)H(A)H(B|A)5.985.9511.93(bit/符号)

a3a4a5a6Xa1a22.6 设信源求这信源的熵，并解释为什0.20.190.180.170.160.17，p(x)么H(X) > log6，不满足信息熵的极值性。

解： 信息熵

H(X)0.2log0.20.19log0.190.18log0.1820.17log0.170.16log0.162.66(bit/符号)log6 因为

p(a)1.071，所以变量不止6-1=5个，因此不满足信息熵的极值性。

ii16

2.7 有两个二元随机变量X和Y，它们的联合概率为 XY 0 1 0 1 83 81 3 81 8并定义另一随机变量Z=XY（一般乘积）。试计算： (1) H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ)。

(2) H(X/Y)，H(Y|X),H(X|Z),H(Z|X),H(Y|Z),H(Z|Y),H(X|YZ),H(Y|XZ)和 H(Z|XY)。

(3) I(X;Y),I(X;Z),I(Y;Z),I(X;Y|Z),I(Y;Z|X)和I(X;Z|Y)。

2

第2章 信息的度量

解：

从题意可知，

13p(x0,y0),p(x0,y1)88

31p(x1,y0),p(x1,y1)881可得：p(x0)p(x1)p(y0)p(y1)

2⑴ H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ)

11H(X)2log1(bit/符号)H(Y)

22由于Z=XY，则有

p(z0)p(x0,y0)p(x0,y1)p(x1,y0)1p(z1)p(x1,y1)87711所以H(Z)loglog0.54(bit/符号)

8888随机变量X和Z的联合概率分布如下： ZX 0 1 1178

0 1 0 1 23 81 8由上表将X和Z的联合概率代入联合熵公式，求得： H(XZ)p(Xi,Zj)logp(Xi,Zj)i0j0113311logloglog1.41(bit/符号)228888同样Y、Z的联合概率分布如下： ZY 0 1 11

0 1 0 1 23 8i0j01 8H(YZ)p(Yi,Zj)logp(Yi,Zj)1.41(bit/符号)

3

信息论与编码理论

求H(XYZ)：13p(x0,y0,z0)p(x0,y0),p(0,0,1)0,p(0,1,0)p(0,1),8831p(0,1,1)0,p(1,0,0)p(1,0),p(1,0,1)0,p(1,1,0)0,p(1,1,1)p(1,1)

88H(XYZ)H(XY)p(Xi,Yj)logp(Xi,Yj)i0j01131132loglog1.81(bit/符号)8888⑵ H(X/Y)，H(Y|X),H(X|Z),H(Z|X),H(Y|Z),H(Z|Y),H(X|YZ),H(Y|XZ)和

H(Z|XY)。

H(X|Y)H(XY)H(Y)1.8110.81(bit/符号)H(Y|X)H(XY)H(X)1.8110.81(bit/符号)H(X|Z)H(XZ)H(Z)1.410.540.87(bit/符号)H(Z|X)H(XZ)H(X)1.4110.41(bit/符号)H(Y|Z)H(YZ)H(Z)1.410.540.87(bit/符号)H(Z|Y)H(YZ)H(Y)1.4110.41(bit/符号)H(X|YZ)H(XYZ)H(YZ)1.811.410.40(bit/符号)H(Y|XZ)H(XYZ)H(XZ)1.811.410.40(bit/符号)H(Z|XY)0(bit/符号)

⑶ I(X;Y),I(X;Z),I(Y;Z),I(X;Y|Z),I(Y;Z|X)和I(X;Z|Y)。

I(X;Y)H(X)H(X|Y)10.810.19bit/符号I(X;Z)H(X)H(X|Z)10.870.13bit/符号I(Y;Z)H(Y)H(Y|Z)10.870.13bit/符号I(X;Y|Z)H(X|Z)H(X|YZ)0.870.400.47bit/符号I(Y;Z|X)H(Y|X)H(Y|XZ)0.810.400.41bit/符号I(X;Z|Y)H(X|Y)H(X|YZ)0.810.400.41bit/符号

2.8 某一离散无记忆信源的符号集为{0,1}，已知p01/4,p13/4。

(1) 求该信源的信息熵。

(2) 有100个符号构成的序列，求某一个特定序列（例如有m个“0”和（100 – m）个“1”）的自信息量的表达式。

(3) 计算(2)中序列的熵。 解：

(1) 该信源的信息熵为：H=-1/4log1/4-3/4log3/4≈0.81(bit/符号)

(2) 由于为离散无记忆信源，则有p(a1,a2,a100)p(a1)p(a2)p(a100)

4

第2章 信息的度量

所以

I(a1,,a100)logp(a1,a2,,a100)logp(a1)p(a2)p(a100)mlogp(ai0)(100m)logp(ai1)2m(100m)log

41.585m41.53(3) H(X1X100)H(X1)H(X2)H(X100)100H(X)81(bit/符号)

2.9 设有离散无记忆信源S，其概率空间为

Sa1a2psip1p2aq pq设另有一离散无记忆信源S，其符号集为信源S符号集的两倍，即A={ai: i=1,2,…,q, q

+1,,2q }，并且符号的概率分布为：

pi(1)pi,(i1,2,,q)

pipiq,(iq1,q2,,2q)请写出信源S'的信息熵与信源S的信息熵的关系。 解：

H(S)p(ai)logp(ai)i1qH(S)p(ai)logp(ai)(1)p(ai)log(1)p(ai)p(ai)logp(ai)i1i1i12qqqp(ai)1log1logH(S)i1q

H(S)[(1)log(1)log]H(S)H(,1)2.10 设有一概率空间，其概率分布为p1,p2,是增加的，并用熵的物理意义作以解释。

证明： 法1：

p1，pq，并有p1p2。若取p1p2，其中02≤p1p2，而其他概率值不变。试证明由此所得新的概率空间的熵p2H(X)pilogpii1qH()(p1)log(p1)(p2)log(p2)pilogpii3qH()H(X)(p1)log(p1)(p2)log(p2)p1logp1p2logp2p1log

p1p2pp2loglog1p1p2p25

信息论与编码理论

pppp1(11)p2(12)(12)logep1p2p1p(p2)loge1p1因为p1p22，则p1p20，且loge0，所以H()H(X)0则H()H(X)物理意义：新概率分布比原概率分布更“均匀”，所以，其熵更大。

法2：设原概率分布的熵为：

H(X)pilogpi

i1q

则新概率分布的熵为：

H()(p1)log(p1)(p2)log(p2)pilogpii3q f()pilogpii3q

其中

f()(p1)log(p1)(p2)log(p2)

由于

f'()log(p1)/(p2)0 ((p1)(p2))

所以，f()是单调上升的。因此，

H()f(0)pilogpipilogpiH(X)

i3i1qq

2.11 设有一概率空间，其概率分布为p1,p2,证明：

由熵的递增性：

pK，并有qmpm1试证明： pK，

HK(p1,p2,,pK)Hm1(p1,p2,,pm,qm)qmlog(km)

HK(p1,p2,,pK)Hm1(p1,p2,,pm,qm)qmH(又由熵的极值性：

pm1pm2p,,,K) qmqmqmH(pm1pm2p,,,K)log(km) qmqmqm因此，

HK(p1,p2,,pK)Hm1(p1,p2,,pm,qm)qmH(Hm1(p1,p2,,pm,qm)qmlog(km)pm1pm2p,,,K)qmqm qm

2.12 设有一概率空间，其概率分布为p1,p2,6

pK,q1,q2,,qJ，并有

第2章 信息的度量

p1p2pK，试证明：

Hkj(p1,p2,,pk,q1,q2,,qj)qjpk q1p1p2H2(,1)(1)Hj(,,)Hk(,,,)11证明：

因为p1p2pK，而p1pkq1qj1，所以在该概率空间中

q1q2qj1

Hkj(p1,p2,,pk,q1,q2,,qj)Hj1(,q1,q2,,qj)Hk(pp1p2,,,k)qjpqppH2(,1)(1)Hj(1,,)Hk(1,2,,k)11

即等式成立

2.13 证明H(X3|X1X2)≤H(X2|X1)，并说明等式成立的条件。 证明：

由于条件熵小于或等于无条件熵，条件较多的熵小于或等于条件较少的熵，考虑到平稳性，有H(X3|X1X2)H(X3|X2)H(X2|X1)，即证

2.14 证明H(X1X2证明：

XN)≤H(X1)H(X2)H(XN)。

H(X1XN)H(X1)H(X2XN|X1)H(X1)H(X2XN) H(X1)H(X2)H(XN).当且仅当X1XN相互时，等号成立。

2.15 (1) 为了使每帧黑白电视图像获得良好的清晰度和规定的适当的对比度，需要用5105个像素和10个不同亮度电平，求传递此图像所需的信息率（比特/秒）。并设每秒要传送30帧图像，所有像素是变化的，且所有亮度电平等概率出现。

(2) 设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率约大2.5倍。

解：

⑴ 像素包含的信息量为：H(X)log103.32(bit/符号) 则每帧电视图像所含的信息量为：

H(XN)NH(X)51053.321.66106(bit/符号)

则图像所需的信息率为30×1.66×106 =4.98×107bit/s ⑵ 证明：

305105log13002.4772.5 1305105log107

信息论与编码理论

2.16 每帧电视图像可以认为是3×105个像素组成，所有像素均是变化的，且每一像素又取128个不同的亮度电平，并设亮度电平等概率出现。问每帧图像中含有多少信息量。若现有一广播员在约10000个汉字的字汇中选1000个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？

解：

⑴ 由于所有像素均是变化的，且每一像素又取128个等概率出现不同的亮度电平，则像素的包含的信息量为： H(X)12811loglog1287(bit/符号) 128128而每帧电视图像可以认为是3×105个像素组成，所有像素均是变化的，所以有

H(XN)NH(X)310572.1106(bit/符号)

⑵ 汉字所含的信息量为：

11log13.288(bit/符号)

1000010000N所以1000个字所含的信息量：H(Y)NH(Y)13288(bit/符号) H(Y)10000H(XN)2.1106⑶ N158037(个)

H(Y)13.288

2.17 为了传输一个由字母A、B、C、D组成的符号集，把每个字母编码成两个二元码脉冲序列，以00代表A，01代表B，10代表C，11代表D。每个二元码脉冲宽度为5毫秒。

(1) 不同字母等概率出现时，计算传输的平均信息速率。

(2) 若每个字母出现的概率分别为pA=1/5，pB=1/4，pC=1/4，pD=3/10，试计算传输的平均信息速率。

解：

⑴ 因为A,B,C,D四个字母,每个字母用两个码,每个码为5ms, 所以每个字母用10ms， 当信源等概率分布时,信源熵为H(X)=log4=2(bit/符号)，则平均信息传递速率为：

H(X)0.2bit/ms200bit/s 10111133log1.98(bit/符号)， ⑵ H(X)log2log55441010H(X)0.198(bit/ms)198bit/s 则平均信息传递速率为：

10

2.18 设有一个信源，它产生0、1序列的消息。它在任意时间而且不论以前发生过什么符号，均按p(0)=0.4，p(1)=0.6的概率发出符号。

(1) 试问这个信源是否是平稳的？

(2) 试计算H(X2)，H(X3/X1X2)及limHN(X)。

N(3) 试计算H(X4)，并写出X4信源中所有可能有的符号。 解：

⑴ 这个信源是平稳的。因为平稳信源的概率分布与时间起点无关，而该信源在任

8

第2章 信息的度量

意时间而且不论以前发生过什么符号，概率分布均相同。

⑵ H(X)2H(X)20.4log0.40.6log0.61.94(bit/符号) 由于信源X={0，1}是无记忆的，则每个Xi 是的，所以有：

H(X3|X1X2)H(X3)0.4log0.40.6log0.60.97(bit/符号)

211H(X1X2XN)limNH(X)H(X)0.97(bit/符号)NNNNN4 ⑶ H(X)4H(X)3.88(bit/符号)

limHN(X)lim信源只产生0、1序列，所以所有组合如下：

00000100100011000001010110011101001001101010111000110111 10111111

2.19 有一个二元无记忆信源，其发0的概率为p，而p1，所以在发了二元序列中经常出现的是那些一串为0的序列（称高概率序列）。对于这样的信源我们可以用另一新信源来代替，新信源中只包含这些高概率序列。这时新信源Sn[s1 s2 s3 sn sn1]，共有n+1个符号，它与高概率的二元序列的对应关系如下：

n位n位二元序列： 1， 01，001，0001，…，0001， 00000。新信源符号：s1，s2， s3， s4， …， sn ， sn1 。 (1) 求H(Sn)。

(2) 当n →时，求信源的熵H(S)limH(Sn)。

n解：

由题，p(0)p,p(1)1p，则新信源概率分布：

p(sk)(1p)pk-1(k1,2,...,n)p(sn1)pn

(1) 求H(Sn)。

H(Sn)(1p)log(1p)(1p)plog(1p)p(1p)p2log(1p)p2(1p)pn1log(1p)pn1pnlogpn(1p)log1pplogpplog1ppnlogpnn1i0in1i1pn1logpn1pn1log1p(1p)plog(1p)(1p)pilogpinlogppn

9

信息论与编码理论

(1p)log(1p)1p1pn(1p)log(1p)1ppn1(n1)pn1(1p)npn

2logpp(1p)2p(1p)logppp22p22p3n(n1)pn1(n1)pnnpnp(1pn)(p1)log(1p)logp1p

⑵ 当n →时，求信源的熵H(S)limH(Sn)

np(1pn)H(S)limH(Sn)lim[(p1)log(1p)logp]nn1pn因为0p1，所以pn0所以H(S)log(1p)plogp1p

2.20 黑白气象传真图的消息只有黑色和白色两种，即信源X=[黑，白]，设黑色出现的概率为p(黑)=0.3，白色出现的概率p(白)=0.7。

(1) 假设图上黑白消息出现前后没有关联，求熵H(X)。 (2) 假设消息前后有关联，其依赖关系为p(白|白)=0.9，p(黑|白)=0.1，p(白|黑)=0.2，p(黑|黑)=0.8，求此一阶马尔科夫信源的熵H2(X)。

(3) 分别求上述两种信源的冗余度，并比较H(X)和H2的大小，并说明其物理意义。 解：

(1) H(X)=-0.3log0.3-0.7log0.7≈0.88(bit/符号)

(2) 状态转移概率矩阵为P0.90.1，设各状态的稳态分布概率为W1 = p’(白)和0.20.8W2 = p’(黑)

则满足：W1=0.9 W1+0.2W2, W2=0.1 W1+0.8 W2，且W1+ W2=1

求得：W1 =

21，W2 = 332211H2(X)0.9log0.90.1log0.10.2log0.20.8log0.8 33330.55(bit/符号) ⑶

① 信源X的最大熵为当p(黑)= p(白)=0.5时，H0(X)=1(bit/符号)，则信源的冗余度为：

H0.8810.12H01

H0.551110.45H011110

第2章 信息的度量

② H(X)> H2(X)，物理意义是：无记忆信源的不确定度大于有记忆信源的不确定度。

11