||
《信息论》、《博弈论》与《安全通论》的融合
------《安全通论》(11):刷新您的通信观念
杨义先,钮心忻
北京邮电大学信息安全中心
摘要:在信息领域,有一本圣经,叫《信息论》。在经济学领域,也有一本圣经,叫《博弈论》。这两本圣经,几乎同时诞生于上世纪中叶,分别由仙农和冯.诺伊曼创立。但是,过去七十年来,谁也没想到,这两本圣经其实是同一本圣经的上下两册,它们的灵魂是完全一致的。而偶然发现这个秘密,并将这两本圣经融合起来的,便是笔者正在努力探索中的《安全通论》。
(一)前言
仙农和冯.诺伊曼无疑是第三次工业革命的灵魂人物。作为科学家,他们对信息社会的贡献无与伦比,堪称信息社会之父。
仙农的《信息论》可能是上世纪最重要的学问之一,而且,它对人类的影响还将持续下去,甚至会变得越来越重要。近百年来,正反两方面的事实证明:若没有《信息论》,就不会有人类的今天,更不可能有网络时代、大数据时代、云计算时代、物联网时代等等。
冯.诺伊曼的《博弈论》对人类文明的影响也大得惊人,特别是经天才数学家纳什精练后,《博弈论》几乎就成为了现代经济学的主宰,由它催生的诺贝尔奖至少一长串。
过去七十年来,《信息论》和《博弈论》在各自领域中,都扮演着“圣经”的角色。虽然,后人研究信息论在股票市场中的应用时,也偶尔提到“博弈”两字;在研究数据压缩时,也提到过“博弈”。同样,在经济学的许多著作中,“信息”或者“信息论”更是经常出现。但是,客观地说,无论是信息论研究中提到博弈,还是经济学(博弈论)研究中提到信息或信息论,其实,双方都只是在赶时髦,用用对方的名词概念,装点自己的门面而已,最多不过是借用一下思想。实际上,在信息论界,大家对《博弈论》知之甚少;同样,在博弈论界,大家对《信息论》也几乎不懂。可以说,在全世界,同时精通并深入研究《博弈论》和《信息论》的人屈指可数。
非常意外的是,我们在研究《安全通论》时,偶然发现,《信息论》和《博弈论》之间的关系之密切,完全超出了许多人的想象。甚至,刷新了人们过去对通信的观念,让通信,特别是网络通信,以全新的面貌重新登场。比如,
1)过去,人们咬定,通信(1对1通信)就是比特信息从发端到收端的传输;其目的就是尽可能多地、可靠地传输比特流。但是,现在看来,通信其实还可以是一种博弈;是收信方和发信方之间,为了从对方获取最大信息量(互信息)的一种博弈。而且,这种博弈一定存在纳什均衡,此时,收信方和发信方各自从对方所获得的信息量相等,同为仙农称之的“信道容量”。
2)网络通信的“信息传输极限”一直就是多用户网络信息论中的头等难题,其难度之大,以至于人们根本就不知道该如何来描述它。人们虽然自认为已经在“多输入单输出信道”等几种最简单的多用户网络信道容量计算方面,取得了最终结果(其实并非最终结果,详见本文第四节的论述);但是,面对绝大部分的多用户网络的信道容量,人们仍然束手无策。甚至,像广播信道这种简单而常见的信道,都使大家不知所措。
为什么会出现这种尴尬局面呢?因为,如果按过去的观念,让比特串在多用户信道中去互相碰撞、转化、流动、传输,那么,当然就难以理出头绪,而且越传越乱。甚至,连每个用户终端对自己的传输需求,优化目标,都说不清楚,就更不可能有最优化结果了。
现在,重新来审视多用户网络通信,将它看成终端用户之间的一种“多参与者博弈”,其目的是要,从其锁定的对象终端处,获得最大的信息量。于是,网络信道容量这个大难题,便可以经过简单的两步轻松解决:
第1步,每个博弈者锁定自己的需求(即,优化目标),比如,他对哪些终端的信息更感兴趣(兴趣大的赋予更大的权值,没兴趣的赋予0权值),对哪些终端的信息要区别对待(不加区别的可以放在同一个组内,统一考虑);
第2步,证明该种博弈刚好存在纳什均衡(非常幸运地得益于互信息函数I(X;Y)的凹性)。而且,在纳什均衡状态时,每个终端就都得到了自己的最优化结果。
3)“信道容量”其实并非像过去那么死板,更不是由几条固定直线切割而成的不变区域,而是在根据各博弈方的优化目标而变化的;优化目标不同,优化结果当然应该不同。而在网络通信中,各方的优化目标确实千差万别。
4)《信息论》、《博弈论》和《安全通论》三者之间融合后,就有:红客与黑客之间的攻防对抗,其实既是红与黑的博弈,也是红与黑之间的通信。若将通信看作红《安全通论》中的红黑对抗,那么,这时红与黑的攻防招数相当,即,红客能实施的所有手段,黑客也能实施。若将《安全通论》中的红黑对抗看作通信,那么,这种通信是非对称的,即,比特的正向流动与反向流动性质不同。若将《安全通论》中的红黑对抗看作博弈,那么,由于每个红客或黑客的攻防招数是有限的,所以,无论怎么去定义其利益函数,这种博弈都一定存在纳什均衡(包含纯战略或混合战略)。
综上可知,在被融合的三论中,《博弈论》最广,《信息论》最深,《安全通论》粘性最强。虽然与《信息论》和《博弈论》相比,《安全通论》不过是九牛之一毛,但是,《安全通论》既然能把两大“牛理论”粘在一起,就说明其本身还是有一定价值的。
本文本来是作者《安全通论》系列论文中的第11部分,但是,由于《信息论》与《博弈论》的融合太出人意料,所以,我们将本文的题目和副标题换了个位,以突出“融合”之意。
由于许多博弈论专家不懂信息论,同样,许多信息论专家不懂博弈论,所以,为了读者阅读方便,我们在下面第二节和第三节中,分别把《博弈论》和《信息论》的最精华部分进行了凝练,熟悉的读者可以跳过,而直接进入本文的核心内容:第四节,三论融合。
(二)《博弈论》核心凝练
为保持全文的完整性,本小节将《博弈论》的最核心成果(见[11,12])凝练如下。熟悉博弈论的读者,可以直接跳过此节。
博弈的标准式表述包括:1)博弈的参与者;2)每个参与者可供选择的战略(行动)集;3)针对所有参与者可能选择的战略组合,每个参与者获得的收益。在一般的n个参与者的博弈中,把参与者从1至n排序,设其中任一参与者的序号为i,令Si代表参与者i可以选择的战略集合(称为i的战略空间,其实就是行动空间),其中任一特定的战略用si表示(或写为si∈Si表示战略si是战略集Si中的要素)。令(s1,…,sn)表示每个参与者选定一个战略而形成的战略组合,ui表示第i个参与者的收益函数,ui(s1,…,sn)即为参与者选择战略(s1,…,sn)时,第i个参与者的收益。综合而言,有
定义1.1(博弈标准式):在一个n人博弈的标准式表述中,参与者的战略空间为S1,…,Sn,收益函数为u1,…,un,我们用G={S1,…,Sn;u1,…,un}表示此博弈。
定义1.2(严格劣战略):在标准式的博弈G={S1,…,Sn;u1,…,un}中,令s’i和s’’i代表参与者i的两个可行战略(即,s’i和s’’i是Si中的元素)。如果对其它参与者的每个可能战略组合,i选择s’i的收益都小于其选择s’’i的收益,则称战略s’i相对于战略s’’i是严格劣战略,即,如下不等式:
ui(s1,…,si-1,s’i,si+1,…,sn)<ui(s1,…,si-1,s’’i,si+1,…,sn) (1.1)
对其它参与者在其战略空间S1,…,Si-1,Si+1,…,Sn中每一组可能的战略(s1,…,si-1,si+1,…,sn)都成立。
理性的参与者不会选择严格劣战略,因为,他(对其它人选择的战略)无法做出这样的推断,使这一战略成为他的最优反应。在博弈中,每个参与者要选择的战略,必须是针对其它参与者选择战略的最优反应,这种理论推测结果可以叫做“战略稳定”或“自动实施”的,因为,没有哪位参与者愿意独自离弃他所选定的战略,我们把这一状态称为“纳什均衡”。
定义1.3(纯战略纳什均衡):在n个参与者标准式博弈G={S1,…,Sn;u1,…,un}中,如果战略组合{s*1,…,s*n}满足对每个参与者i,s*i是(至少不劣于)他针对其它n-1个参与者所选战略{s*1,…,s*i-1,s*i+1,…,s*n}的最优反应战略,则称战略组合{s*1,…,s*n}是该博弈的一个纳什均衡。即,
ui{s*1,…,s*i-1,s*i,s*i+1,…,s*n}≥ui{s*1,…,s*i-1,si,s*i+1,…,s*n} (1.2)
对所有Si中的si都成立,亦即,s*i是以下最优化问题的解:
Maxsi∈Si ui{s*1,…,s*i-1,si,s*i+1,…,s*n} (1.3)
(注:由于科学网博客显示器的限制,本文中我们无法用标准公式来显示诸如“双重足标”等公式,所以,此处及后面,凡是在多重足标中,我们都不得不将si与si视为等同。幸好这样做并不会引起混乱。)
为更清晰地理解定义1.3中的纳什均衡,我们设想有一标准式博弈G={S1,…,Sn;u1,…,un},博弈论为它提供的解为战略组合{s’1,…,s’n},如果{s’1,…,s’n}不是G的纳什均衡,就意味着存在一些参与者i,s’i不是针对{s’1,…,s’i-1,s’i+1,…,s’n}的最优反应战略,即在Si中存在s’’i,使得:
ui(s’1,…,s’i-1,s’i,s’i+1,…,s’n)<ui(s’1,…,s’i-1,s’’i,s’i+1,…,s’n) (1.4)
那么,如果博弈论提供的战略组合解{s’1,…,s’n }不是纳什均衡,则至少有一个参与者有动因偏离理论的预测,使得博弈的真实进行和理论预测不一致。因此,对给定的博弈,如果参与者之间要商定一个协议,决定博弈如何进行,那么,一个有效的协议中的战略组合必须是纳什均衡的战略组合,否则,至少有一个参与者不会遵守该协议。
再换一个角度来看纳什均衡:仍记Si为参与者i可以选择的战略集,并且,对每一个参与者i,s*i为其针对另外n-1个参与者所选战略的最优反应,则战略组合(s*1,…,s*n)为博弈的纳什均衡,即,
ui(s*1,…,s*i-1,s*i,s*i+1,…,s*n)≥ui(s*1,…,s*i-1,si,s*i+1,…,s*n) (1.5)
对Si中的每个si都成立。
但是,如果仅按定义1.3来定义纳什均衡,那么,在某些情况下,这样的纳什均衡就不存在,更一般地有:在博弈中,一旦每个参与者都竭力猜测其它参与者的战略选择,那么,就不存在“由定义1.3所定义的纳什均衡”,因为,这时参与者的最优行为是不确定的,而博弈的结果必然要包括这种不确定性。因此,又引入了所谓“混合战略”的概念,它可以解释为一个参与者对其它参与者行为的不确定性。从而,将纳什均衡的定义扩展到包括混合战略的情况。
规范地说,参与者i的一个混合战略,就是在其战略空间Si中(一些或全部)战略的概率分布,于是,称前面Si中的那些战略为i的纯战略。对于完全信息同时行动博弈来说,一个参与者的纯战略,就是他可以选择的不同行动。例如,在“猜硬币正反面”博弈中,Si含有两个纯战略,分别为“猜正面向上”和“猜反面向上”,这时,参与者i的一个混合战略为概率分布(q,1-q),其中q为“猜正面向上”的概率,1-q为“猜反面向上”的概率,且0≤q≤1。混合战略(0,1)表示参与者的一个纯战略,即,只“猜反面向上”;类似地,混合战略(1,0)表示只“猜正面向上”的纯战略。
更一般地,假设参与者i有K个纯战略:Si={si1,…,siK},则参与者i的一个混合战略就是一个概率分布(pi1,…,piK),其中pik表示对所有k=1,2,…,K,参与者i选择战略sik的概率,由于pik是一个概率,所以对所有k=1,…,K,有0≤pik≤1且pi1+…+piK=1。我们用pi表示基于Si的任意一个混合战略,其中包含了选择每个纯战略的概率,正如前面用si表示Si内任意一个纯战略一样。
定义1.4(混合战略):对标准式博弈G={S1,…,Sn;u1,…,un},假设Si={si1,…,siK}。那么,参与者i的一个混合战略为概率分布pi=(pi1,…,piK),其中对所有k=1,…,K,都有0≤pik≤1且pi1+…+piK=1。
为了将纳什均衡概念扩展到混合战略的最优反应,先把两人博弈的情况描述清楚(这也是我们为了在后面将《博弈论》与《信息论》融合,而做的准备工作)。
先考虑只有两个博弈者。令J表示第1个参与者(博弈者)S1中包含纯战略的个数,K表示第2个博弈者S2包含纯战略的个数,则S1={s11,…,s1J},S2={s21,…,s2K},我们用s1j和s2k分别表示S1和S2中任意一个纯战略。
如果参与者1推断参与者2将以P2=(p21,…,p2K)的概率选择战略(s21,…,s2K),则参与者1选择纯战略s1j的期望收益为:
∑Kk=1p2ku1(s1j,s2k) (1.6)
且参与者1选择混合战略P1=(p11,…,p1J)的期望收益为:
v1(P1,P2)=∑Jj=1p1j[∑Kk=1p2ku1(s1j,s2k)]=∑Jj=1∑Kk=1p1j.p2ku1(s1j,s2k) (1.7)
其中,p1j.p2k表示参与者1选择s1j且参与者2选择s2k的概率。根据公式(1.7),参与者1选择混合战略P1的期望收益,等于按公式(1.6)给出的每个纯战略{s11,…,s1J}的期望收益的加权和,其权重分别为各自的概率(p11,…,p1J),那么,参与者1的混合战略(p11,…,p1J)要成为他对参与者2战略P2的最优反应,其中任何大于0的p1j相对应的纯战略,必须满足:
∑Kk=1p2ku1(s1j,s2k)≥∑Kk=1p2ku1(s’1j,s2k)
对S1中每一个s’1j都成立。这表明,如果一个混合战略要成为P2的最优反应,那么,这个混合战略中每一个概率大于0的纯战略本身,也必须是对P2的最优反应。反过来讲,如果参与者1有n个纯战略都是P2的最优反应,则这些纯战略全部或部分的任意线性组合(同时,其它纯战略的概率为0)形成的混合战略,同样是参与者1对P2的最优反应。
为给出扩展的纳什均衡的正式定义,我们还需要计算:当参与者1和2分别选择混合战略P1和P2时,参与者2的期望收益。如果参与者2推断参与者1将分别以P1=(p11,…,p1J)的概率选择战略{s11,…,s1J},则参与者2分别以概率P2=(p21,…,p2K)选择战略{s21,…,s2K}时的期望收益为
v2(P1,P2)=∑Kk=1p2k[∑Jj=1p1ju2(s1j,s2k)]=∑Jj=1∑Kk=1p1j.p2ku2(s1j,s2k) (1.8)
在给出v1(P1,P2)和v2(P1,P2)之后,我们便可以重新表述纳什均衡的必要条件了,即,每一参与者的混合战略是另一参与者混合战略的最优反应:一对混合战略(P*1,P*2)要成为纳什均衡,则P*1必须满足
v1(P*1,P*2)≥v2(P1,P*2) (1.9)
对S1中战略所有可能的概率分布P1都成立,并且P*2必须满足
V2(P*1,P*2)≥v2(P*1,P2) (1.10)
对S2中战略所有可能的概率分布P2都成立。
定义1.5(混合战略纳什均衡):在两个参与者标准式博弈G={S1,S2;u1,u2}中,混合战略(P*1,P*2)是纳什均衡的充分必要条件是:每一参与者的混合战略,是另一参与者混合战略的最优反应,即,公式(1.9)和(1.10)必须同时成立。
在任何博弈中,一个纳什均衡(包括纯战略和混合战略均衡)都表现为参与者之间最优反应对应的一个交点,即使该博弈的参与者在两人以上,或有些(或全部)参与者有两个以上的纯战略。
到此,我们就可以介绍博弈论的最核心定理,称为“纳什均衡定理”,它由数学家纳什于1950年发现:
纳什均衡定理:在n个参与者的标准式博弈G={S1,…,Sn;u1,…,un}中,如果n是有限的,且对每个i,Si也是有限的,则博弈存在至少一个纳什均衡,均衡可能包含混合战略。
该定理要求策略空间是有限的(即,每个参与者的可选策略个数有限),但是,如果策略空间是无限时,情况又会怎样呢?1952年,Debreu、Glicksberg和 Fan证明了下面的定理1,Glicksberg证明了下面的定理2。
定理1.1:在n个参与者的标准式博弈G={S1,…,Sn;u1,…,un}中,如果n是有限的,且对每个i,Si是欧式空间的非空紧凸集。如果收益函数ui对si(si∈Si)是连续的,且对si是拟凹的,那么,该博弈存在纯战略纳什均衡。
定理1.2:在n个参与者的标准式博弈G={S1,…,Sn;u1,…,un}中,如果n是有限的,且对每个i,Si是度量空间的非空紧集。如果收益函数ui是连续的,那么,该博弈存在混合战略的纳什均衡。
(三)《信息论》核心凝练
为保持全文完整性,本小节将《信息论》的最核心成果(见[13])凝练如下。熟悉《信息论》的读者,也可以直接跳过此节。
如果将所有可能的通信方案看成一个集合,那么,《信息论》就给出了这个集合的两个最重要的临界值:1)数据压缩达到最低程度的方案,对应于该集合的下界minI(X,X*),即,所有数据压缩方案所需要的描述速率不得低于该临界值I(X,X*),仙农信源编码定理;2)数据传输率的最大值就是信道容量,MaxI(X,Y),仙农信道编码定理。
网络信息论是当前通信理论研究的焦点,即,在干扰和噪声的情况下,如何建立大量发送器到大量接收器之间的通信同步率理论。但是,目前,全世界都正在泥潭中痛苦挣扎。
信息论的几个最基本的概念有:
熵:设随机变量X的概率分布函数为p(x),那么,X的熵定义为,H(X)=-∑xp(x)log2p (x)。熵的量纲为比特。熵可看作随机变量X的平均不确定度的度量,即,在平均意义下,为了描述该随机变量X所需要的比特数。特别,如果X是二值随机变量,比如,p(X=1)=q,p(X=0)=1-q,那么,H(X)=-qlogq-(1-q)log(1-q),它是实数区间[0,1]内,关于q的凹函数。
条件熵:一个随机变量X,在给定另一个随机变量Y的条件下的熵,记为H(X│Y)。
相对熵:两个概率密度函数为p(x)和q(x)之间的相对熵定义为
D(p∥q)=∑x∈Xp(x)log[p(x)/q(x)]=Eplog[p(X)/q(X)]。
互信息:由另一个随机变量导致的,原随机变量不确定度的缩减量。具体地说,设X和Y是两个随机变量,那么,这个缩减量就是互信息I(X;Y)=H(X)-H(X│Y)=∑x,yp(x,y)log{p(x,y)/[p(x)p(y)]}= D(p(x,y)∥[p(x)p(y)])。互信息I(X;Y)也是两个随机变量相互之间独立程度的度量,它关于X和Y对称,且非负;当且仅当X与Y相互独立时,其互信息为0。
条件互信息:随机变量X和Y,在给定随机变量Z的条件互信息定义为:I(X;Y│Z)=H(X│Z)-H(X│Y,Z)=Ep(x,y,z)log[p(x,y,z)/(p(x│z)p(y│z))]。
定理2.1(互信息的凹凸性定理):设二维随机变量(X,Y)服从联合概率分布p(x,y)=p(x)p(y│x)。如果固定p(y│x),则互信息I(X;Y)就是关于p(x)的凹函数(互信息其实是任意闭凸集上的凹函数,因而,局部最大值也就是全局最大值。又由于互信息是有限的,所以,在信道容量的定义中,可以只使用max,而不必用sup。而且,这个最大值(信道容量)可以利用标准的非线性最优化技术求解);而如果固定p(x),则互信息I(X;Y)就是关于p(y│x)凸函数。在条件互信息的情况下,如果固定p(y│x,z),则互信息I(X;Y│Z)就是关于p(x│z)的凹函数,也是关于p(x)的凹函数。
通信信道:它是这样一个系统,其输出信号按概率依赖于输入信号。其特征由一个转移概率矩阵p(y│x)决定,该矩阵给出了在已知输入情况下,输出的条件概率分布。
二元对称信道:输入与输出都只有两个符号(0,1),并且,输出与输入相同的概率为1-p,输出与输入相异的概率为p。这里0≤p≤1。
信道容量:对于输入信号为X,输出信号为Y,的通信信道,定义它的信道容量C为C=maxp(x)I(X;Y)。
好了,现在来介绍《信息论》中核心的定理,仙农信道编码定理。它可以描述为:
仙农信道编码定理:对于离散无记忆信道,小于信道容量C的所有码率都是可达的。或者可以形象地解释为:码率不超过信道容量C的所有信号,都能够被无误差地从发方传输到收方。
(四)三论融合
有了上述第二节(《博弈论》)和第三节(《信息论》)的预备工作后,现在就可以介绍本文的核心内容了。我们将利用《安全通论》,把《博弈论》的核心(纳什均衡)和《信息论》的核心(信道容量)进行充分融合,并顺便解决网络信息论中存疑数十年的一些难题。
首先来重视审视一下经典的“1对1通信”:构造一个特殊的标准式博弈G={S1,S2;u1,u2},它有两个参与者,分别是甲方(包含但不限于发信方X)和乙方(包含但不限于收信方Y),假设固定一个转移矩阵A=[Aij](它等同于确定某个信道的转移矩阵,即,Aij=p(x=i│y=j), 1≤i≤n, 1≤j≤m),如果X和Y分别是取n个和m个值的随机变量,那么,
参与者1(甲方)的战略空间S1定义为S1={0≤xi≤1:1≤i≤n, x1+x2+…+xn=1},它是边长为1的n维封闭立方体中的一个n-1维封闭子立方体(当然,也就是欧式空间的非空紧凸集)。
参与者2(乙方)的战略空间S2定义为S2={0≤yi≤1:1≤i≤m,y1+y2+…+ym=1},它是边长为1的m维封闭立方体中的一个m-1维封闭子立方体(当然,也就是欧式空间的非空紧凸集)。
对参与者1和2的任意两个具体的纯战略s1∈S1(即,s1=(p1,p2,…,pn),p1+p2+…+pn=1)和s2∈S2(即,s2=(q1,q2,…,qm),q1+q2+…+qm=1)分别定义他们的收益函数为:
参与者1(甲方)的收益函数u1(s1,s2)定义为u1(s1,s2)=∑j=1mqj∑i=1nAijlog[Aij/pi]。提醒:其实这个收益函数就是I(X;Y),即,X与Y的互信息,这里X和Y的概率分布函数分别由s1和s2定义为P(X=i)=pi,(1≤i≤n,0≤pi≤1)和P(Y=j)=qj,(1≤j≤m,0≤qj≤1)。根据定理2.1(互信息的凹凸性定理),在信道p(x│y)被固定的条件下,u1对s1(s1∈S1)是连续的,且对s1是凹函数(当然更是拟凹的了)。
参与者2(乙方)的收益函数u2(s1,s2)定义为u2(s1,s2)=∑i=1npi∑j=1m Bjilog[Bji/qj]。提醒:其实这个收益函数就是I(Y;X),即,Y与X的互信息。同样,根据定理2.1(互信息的凹凸性定理),在信道p(x│y)被固定的条件下(因为p(y│x)已被固定,所以p(x│y)也已被固定),u2对s2(s2∈S2)是连续的,且对s2是凹函数(当然更是拟凹的了)。(注:虽然通过《信息论》,我们明明知道I(X;Y)=I(Y;X),即,该博弈中的两个参与者的收益函数是相等的,但是,为了使相关描述更像标准博弈,所以,我们故意如此赘述。后面有些赘述也是同样目的。)
于是,定理1.1中的条件就被全部满足,即,我们人为构造的标准式博弈G={S1,S2;u1,u2}就存在纯战略的纳什均衡。这就是说存在着某对纯战略s*1=(p*1,p*2,…,p*n)和s*2=(q*1,q*2,…,q*m),它们分别对应于某对输入和输出的随机变量X*和Y*(这里P(X*=i)=p*i, 1≤i≤n, p*1+p*2+…+p*n=1 和P(Y*=j)=q*j, 1≤j≤m, q*1+q*2+…+q*m=1),使得,同时成立
任意给定s2∈S2,一定有u1(s*1,s2)≥u1(s1,s2),对所有s1∈S1
和
任意给定s1∈S1,一定有u2(s1,s*2)≥u2(s1,s2),对所有s2∈S2
换句话说,根据信道容量的定义,就知道u1(s*1,s*2)=u2(s*1,s*2)=C,信道p(y│x)的信道容量,即,甲方和乙方博弈的纳什均衡点刚好就是当甲方作为该信道的发方时、乙方作为该信道的收信方时,的信道容量。所以,我们就把这个结果简述为如下定理3.1。至此,我们就发现了《信息论》与《博弈论》之间的第一处核心融合,即,
定理3.1(信道容量与纳什均衡的融合定理):当信道固定时,若以输入和输出之间的互信息为收益函数,那么,发信方和收信方之间的标准式博弈一定存在纯战略的纳什均衡,而且,当达到纳什均衡时,他们的收益函数就刚好是收发双方之间的信道的信道容量。
特别说明:我们之所以将上述博弈构造成发方和发方之间的博弈,是因为这样比较形象直观。其实,更严谨地说,我们本应该构造一个由收发双方联合起来与信道之间的“三人博弈”(或者是信道与发信方(或收信方)之间的二人博弈),它的最终纳什均衡状态也刚刚达到信道容量的极限值,不过,由于这种博弈的描述比较复杂,而且效果又一样,所以此处略去。
上面的定理3.1几乎完全刷新了人们对通信的观念:原来,所谓通信,只不过是收发双方的一种特殊博弈而已。那么,这种观念的刷新有价值吗?答案是:太有价值了,比如,基于这种新观念,我们就可以解决过去数十年来,网络信息论中有关信道容量的一些难题。注:用博弈论的思路去考虑1对1通信的意义不大,因为,仙农在这种情况下已经给出了非常漂亮的结果,但是,为什么我们要用1对1的情况为例来说明定理3.1呢,这主要是想使相关描述更简捷。再次提醒读者:千万别过分地被输入和输出的关系锁定,否则,就会对相关的博弈误解。
4.1)重新审视星形网络的信道容量
过去,《信息论》的做法是将星形网络分为“多输入单输出信道”和“广播信道(单输入多输出信道)”两种情况,而且还真的用仙农随机编码的思路,非常巧妙地把多输入信道的信道容量给“计算出来了”(后面将看到,其实,人们并没有完全计算出来,只是在一种特殊情况下计算出来了而已);但是,面对广播信道时,大家就束手无策了,并将这个难题遗留至今。
现在我们从博弈论的角度,再来看这个问题时,突然发现,原来人类走了一个大弯路,把简单问题复杂化了。
为了把这个问题说清楚,我们先回头看看1对1通信的情况:
看待一个随机变量时,有两个层次:其一,宏观一点,只看其分布概率,比如,将扔硬币这个随机变量X,看成P(X=0)=P(X=1)=0.5;其二,微观一点,用某个具体的样本来代表,比如,用一连串扔硬币的结果x1,x2,…,xn,…来表示。当然,同一个概率分布的不同具体样本之间的差别,可能会非常大,它们之间的平均汉明距离完全有可能大于0;但是,所以具体样本的统计特性是相同的。
由于通信的情况很特殊,一方面,仙农将输入和输出信号都当作随机变量,用分布概率表示;另一方面,每次收端和发端所处理的序列都是实实在在的具体样本,即,二元序列。于是,人们就反复在概率分布和具体样本之间纠结,其中,最典型的案例是仙农自己:本来由于其凹性,互信息I(X,Y)的最大值(max)和上确界(sup)就是一回事了,即,从分布概率角度来看,互信息的最大值是可达的(即,信道容量),既然,某个概率分布的随机变量X使I(X,Y)达到最大值,那么,X的某个具体样本也就一定能够达到该值,虽然并不知道到底是哪个样本能达到最大值。可是,仙农却还想进一步把那个达到最大值的具体样本给找出来,结果,虽然经过了一大堆复杂的随机编码推理,最终也仍然只证明了“达到最大值的那个样本存在”,而并没有把那个达到最大值的样本给找出来。于是,才上演了半个多世纪以来,全世界信道编码理论专家们,挖空心思、前赴后继地追求仙农极限的苦剧。至今,仙农极限还摆在那里,可望而不可及!
仙农的这种技巧,在1对1通信中时,非常令人震撼;但是,在网络通信时,这种“随机编码”的思路,就将人类带入了死胡同,导致半个多世纪的迷茫。
现在,用博弈的观点来看,通过定理3.1,在1对1通信时,收发双方达到纳什均衡的那个纯战略s*1和s*2,就是真真切切的接收信号和发射信号。
先看2输入单输出信道:
此时,有两个发信方X1和X2,有一个收信方Y。现在考虑他们三者之间的一个标准式博弈G={S1,S2,S;u1,u2,u}:
参与者1(发信方X1)的战略空间S1定义为S1={0≤xi1≤1:1≤i≤n, x11+x21+…+xn1=1}。
参与者2(发信方X2)的战略空间S2定义为S2={0≤xi2≤1:1≤i≤N, x12+x22+…+xN2=1}。
参与者3(收信方)的战略空间S3定义为S3={0≤yi≤1:1≤i≤m,y1+y2+…+ym=1。
他们三者之间的战略空间虽然很清楚,但是,在定义其收益函数时,情况就完全不一样了,比如:对该三个参与者的任意纯战略X1、X2和Y,
情况1:如果两个发信方都是自私的,他们只想为自己争取最大利益;并且如果收信方不加区别地对待发信方,那么,他们的三个收益函数就分别定义为:u1(X1,X2,Y)=I(X1;Y│X2); u2(X1,X2,Y)=I(X2;Y│X1); u3(X1,X2,Y)=I(X1,X2;Y)。
情况2:如果两个发信方都是自私的,他们只想为自己争取最大利益;那么,发信各方的收益函数就分别定义为:u1(X1,X2,Y)=I(X1;Y│X2); u2(X1,X2,Y)=I(X2;Y│X1)。如果收信方对两个发信方是区别对待的,那么收信方的收益函数定义为如下加权函数:u3(X1,X2,Y)=aI(X1;Y│X2)+bI(X2;Y│X1)。0≤a,b≤1并且a+b=1。
情况3:如果两个发信方是无私的,以争取发信方共同利益最大化为目标; 收信方不加区别地对待发信方,那么,对该三个参与者的任意纯战略X1、X2和Y,他们的三个收益函数就分别定义为:u1(X1,X2,Y)=u2(X1,X2,Y)=u3(X1,X2,Y)=I(X1,X2;Y)。这便退化成了1对1通信。
情况4:如果两个发信方都是无私的,以争取发信方共同利益最大化为目标;那么,发信各方的收益函数就分别定义为:u1(X1,X2,Y)=u2(X1,X2,Y)=I(X1,X2;Y)。如果收信方对两个发信方是区别对待的,那么收信方的收益函数定义为如果加权函数:u3(X1,X2,Y)=aI(X1;Y│X2)+bI(X2;Y│X1)。0≤a,b≤1并且a+b=1。
仿照定理3.1的证明过程,可以直接验证:在上述4种情况下,定理1.1的条件都被全部满足,即,这些博弈都存在纯战略的纳什均衡X*1、X*2、Y*。而达到纳什均衡状态时,收发三方各自的纯战略X*1、X*2、Y*,便是对应于各自企望的最佳结果,而这些最大值所围成的区域,便是信道容量。由此可见,所谓的“信道容量”原来并非像过去那么死板,而是在根据各博弈方的目标而变化的;目标不同,结果当然应该不同。特别是,上述的情况1,便是过去人们已经研究过的所谓“2输入单输出信道”情况,显然,人们过去并没有完全解决“多输入单输出信道”的信道容量问题。
至此,我们便明白了,为什么过去广播信道的信道容量成为了难题,因为,大家没有博弈概念,没有搞清楚收发各方的优化目标,而是在“鱼和熊掌兼得”的情况下来试图计算所谓的信道容量,当然,就不可能有结果了。自己都不清楚自己想要什么,怎么可能有最佳策略呢!
下面,我们就在锁定收发各方的利益目标(优化目标)的条件下,给出广播信道相应的“信道容量”,即,由纳什均衡状态所围成的区域。
在一般的“广播信道”中,有一个输入X和n个输出Y1,Y2,…,Yn。现在考虑他们这(n+1)个参与者之间的如下标准式博弈G={ S,S1,S2,…,Sn;u,u1,u2,…,un}:
参与者0(发信方X)的战略空间S定义为S={0≤xi≤1:1≤i≤m, x1+x2+…+xm=1}。
参与者1(收信方Y1)的战略空间S1定义为S1={0≤yi1≤1:1≤i≤N(1), y11+y21+…+yN(1)1=1}。
参与者2(收信方Y2)的战略空间S2定义为S2={0≤yi2≤1:1≤i≤N(2), y12+y22+…+yN(1)2=1}。
……
参与者n(收信方Yn)的战略空间Sn定义为Sn={0≤yin≤1:1≤i≤N(n), y1n+y2n+…+yN(1)n=1}。
对任何一组纯战略X、Y1、Y2、…、Yn,根据不同的利益目标(优化目标),上述(n+1)个博弈者之间的利益函数也是各不相同的,因此,相应的“信道容量”也是各不相同的。为了节省篇幅,我们不再对所有细节情况一一论述,而是抽象地将所有情况“一网打尽”。
首先,从发信方X的角度来看,他将n个收信方分成K个组F1、F2、…、FK使得每个收信方都在并只在某一个组中;而且,X对于在同一个组中的不同收信方不加区别;对这K个组,发信方X还分配了一个权重系数a1、a2、…、aK,这里a1+a2+…+aK=1,对每个1≤i≤K,0≤ai≤1。于是,发信方X的收益函数定义为:
u(X,Y1,Y2,…,Yn)=∑Ki=1aiI(X;Fi│FCi)
这里,FCi表示除了Fi之外,所有其它收信方组成的集合,而I(X;Fi│FCi)表示在条件FCi之下,X与Fi之间的互信息。
其次,再来看n个收信方,假定他们自愿分成M个联盟R1、R2、…、RM使得每个收信方都在且只在某一个联盟中;同一个联盟中的收信方都以本联盟利益为重(不考虑自己个人的利益。自私的收信方可以自己单独组成一个联盟),于是,对每个收信方i(1≤i≤n),如果该收信方i∈Rj (1≤j≤M),那么,他就按如下方式来定义其利益函数(即,同一个联盟中的所有收信方的利益函数都是相同的):
ui(X,Y1,Y2,…,Yn)=I(X;Rj│RCj)
这里,RCj表示除了Rj之外,所有其它收信方联盟组成的集合,而I(X;Rj│RCj)表示在条件RCj之下,X与Rj之间的互信息。
在按上述过程定义的标准式博弈G={ S,S1,S2,…,Sn; u,u1,u2,…,un}中,仿照定理3.1的证明过程,可以直接验证:定理1.1的条件被全部满足,即,该博弈存在纯战略的纳什均衡X*、Y*1、Y*2、…、Y*n。而达到纳什均衡状态时,收发各方的纯战略X*、Y*1、Y*2、…、Y*n,便是对应于各自企望的最佳结果,而这些可达的利益最大值所围成的区域,便是信道容量。
4.2)榆树网(Banyan)网络的信道容量
在榆树网中,有n个发信方X1、X2、…、Xn和m个收信方Y1、Y2、…、Ym。显然,榆树网是星形网的扩展,它把1个发(收)信方,扩展成多个。为了描述榆树网的信道容量,我们设计如下有(n+m)个人参与的标准式博弈:
G={S1,S2,…,Sn,T1,T2,…,Tm;u1,u2,…,un,v1,v2,…,vm}
参与者i(发信方Xi,1≤i≤n)的战略空间Si定义为Si={0≤xji≤1:1≤j≤N(i), x1i+x2i+…+xN(i)i=1}。
参与者n+i(收信方Yi,1≤i≤m)的战略空间Ti定义为Ti={0≤yji≤1:1≤j≤N(n+i), y1i+y2i+…+yN(n+i)i=1}。
n个发信方自愿地将自己分为Q个联盟,P1、P2、…、PQ使得每个发信方都在且只在某一个联盟中;同一个联盟中的发信方都以本联盟利益为重(不考虑自己个人的利益。自私的发信方可以独自组成一个联盟)。进一步,联盟Pi将全部m个收信方分成M(i)个组,Fi1,Fi2,…,FiM(i)使得每个收信方都属于且只属于某个组。并且,联盟Pi还分配了一个权重系数a1i、a2i、…、aM(i)i,这里a1i+a2i+…+aM(i)i=1,对每个1≤i≤Q,0≤aik≤1。
于是,对每个发信方j,1≤j≤n,如果该发信方属于联盟Pi,那么,他的利益函数uj(X1,X2,…,Xn,Y1,Y2,…,Ym)就定义为:
uj(X1,X2,…,Xn,Y1,Y2,…,Ym)=∑M(i)k=1aki I(Pi;Fik│PCi,FCik)
这里PCi表示除联盟Pi之外的所有发信方组成的集合;FCik表示除分组Fik之外的所有收信方组成的集合;I(Pi;Fik│PCi,FCik)表示,在条件PCi,FCik之下,Pi与Fik之间的互信息。
收信方的利益函数,可以类似地定义。即,
m个收信方自愿地将自己分为W个联盟,B1、B2、…、BW使得每个收信方都在且只在某一个联盟中;同一个联盟中的收信方都以本联盟利益为重(不考虑自己个人的利益。自私的收信方可以独自形成一个联盟)。进一步,联盟Bi将全部n个发信方分成D(i)个组,Ei1,Ei2,…,EiD(i)使得每个发信方都属于且只属于某个组。并且,联盟Bi还分配了一个权重系数b1i、b2i、…、bD(i)i,这里b1i+b2i+…+bD(i)i=1,对每个1≤i≤W,0≤bik≤1。
于是,对每个收信方j,1≤j≤m,如果该收信方属于联盟Bi,那么,他的利益函数vj(X1,X2,…,Xn,Y1,Y2,…,Ym)就定义为:
vj(X1,X2,…,Xn,Y1,Y2,…,Ym)=∑D(i)k=1bki I(Bi;Eik│BCi,ECik)
这里BCi表示除联盟Bi之外的所有收信方组成的集合;ECik表示除分组Eik之外的所有发信方组成的集合;I(Bi;Eik│BCi,ECik)表示,在条件BCi,ECik之下,Bi与Eik之间的互信息。
在按上述过程定义的标准式博弈G={S1,S2,…,Sn,T1,T2,…,Tm;u1,u2,…,un,v1,v2,…,vm}中,仿照定理3.1的证明过程,可以直接验证:定理1.1的条件被全部满足,即,该博弈存在纯战略的纳什均衡X*1、X*2、…、X*n、Y*1、Y*2、…、Y*m。而达到纳什均衡状态时,收发各方的纯战略X*1、X*2、…、X*n、Y*1、Y*2、…、Y*m,便是对应于各自企望的最佳结果,而这些可达的利益最大值所围成的区域,便是信道容量。
4.3)全连通网络的信道容量
所谓N个用户的全连通网络,就是在该网络中,每个用户既是收信方,同时又是发信方。那么,如何来考虑这种网络中的信道容量呢?其实,若利用上面的博弈思路,只要每个用户自己的目标锁定后,那么,由他们所构成的N个参与者的博弈,就一定存在纳什均衡,而且,他们各自的最大利益也能够在纳什均衡状态下被确定,而且,这些最大值所围成的区域,便是可达的信道容量。非常幸运的是:互信息函数及其线性组合的凹性,保证了纯战略纳什均衡的存在性。
为了避免过于复杂的公式足标体系,我们在全连通网络中假设:每个用户都是自私的,即,只考虑自己的利益,或者说,不再存在前面几小节中的联盟。这种假定当然会遗漏一些可能的情况,但是,对网络信息论的研究并没有实质性的影响。况且,在实际应用中,每个网络用户确实是几乎自考虑自身利益最大化。
设网络中的N个用户分别用随机变量X1,X2,…,XN来表示,并且Xi是有M(i)个取值的随机变量,1≤i≤N。
构造一个有N个人参与的标准式博弈G={S1,S2,…,SN; u1,u2,…,uN}如下:
参与者i(用户Xi,1≤i≤n)的战略空间Si定义为Si={0≤xji≤1:1≤j≤M(i), x1i+x2i+…+xM(i)i=1}。
对每个参与者i,在假定他是自私的前提下,为了合理定义他的利益函数,我们考虑如下事实:网络中的每个用户,对参与者i来说,其重要程度是不会完全相同的,因此,参与者i将其它N-1个用户分成N(i)组,Gi1,Gi2,…,GiN(i),使得每个其它用户都属于且只属于某个组。并且,参与者i还分配了一个权重系数d1i、d2i、…、dN(i)i,这里d1i+d2i+…+dN(i)i=1,对每个1≤j≤N(i),0≤dji≤1。
于是,参与者i的利益函数ui(X1,X2,…,Xn)就定义为:
ui(X1,X2,…,Xn)=∑N(i)k=1dki I(Xi;Gik│GCik)
这里GCik表示除分组Gik和参与者i之外的所有用户组成的集合;I(Xi;Gik│GCik)表示,在条件GCik之下,Xi与Gik之间的互信息。
在按上述过程定义的标准式博弈G={S1,S2,…,Sn;u1,u2,…,un}中,仿照定理3.1的证明过程,可以直接验证:定理1.1的条件被全部满足,即,该博弈存在纯战略的纳什均衡X*1、X*2、…、X*n。而达到纳什均衡状态时,各用户的纯战略X*1、X*2、…、X*n,便是对应于各自企望的最佳结果,而这些可达的利益最大值所围成的区域,便是信道容量。
(五)结束语
“没有缺点”本身就是缺点!
你看,仙农在创立1对1通信的《信息论》时,非常巧妙地利用了转移矩阵来描述信道和互信息等重要概念,以至于后人在研究多用户网络信息论时,首先想到的就是“照猫画虎”,而且,还真的在“多输入单输出信道”中取得了重要成果,求出了(实际上只是部分求出了)所谓的“信道容量”。但遗憾的是,人们误入了歧途,数十年的停滞不前便是最有力的证明。
过去人们仿照仙农,用各种各样的转移概率来描述多用户网络系统,比如,在多接入单输出信道时,用转移概率P(y│x1,x2,…,xm)来描述;在广播信道时,用转移概率P(x1,x2,…,xm│y)来描述;在中继信道时,用转移概率P(y,y1│x,x1)来描述等等。从表面上看来,这样的描述好像并没有问题,因为,确实仅仅通过P(y│x1,x2,…,xm)是求不出P(x1,x2,…,xm│y)的值,所以,有理由认为多输入信道和广播信道完全不同。但是,仔细分析后,便会发现,人们这们做,大有画蛇添足的味道。
因为,实际上,对任意一个n用户(Y1,Y2,…,Yn)的网络通信系统,只要有足够多的收发信息样本,比如,足够长时间地从各用户终端连续记录下了随机变量(Y1,Y2,…,Yn)的同时刻的比特串(y1i,y2i,…,yni),i=1,2,…,那么,根据“频率趋于概率”的大数定律,便可以得到n维随机变量(Y1,Y2,…,Yn)的全部概率分布,由此,便可以知道该n维随机变量的所有各种转移概率、所有随机分量的概率分布等等。
换句话说,无论是多输入信道P(y│x1,x2,…,xm)也好,或者是广播信道P(x1,x2,…,xm│y)也好,反正,只要根据各用户端足够多的传输信息比特,那么,联合概率分布P(y,x1,x2,…,xm)就是已经,当然,转移概率P(y│x1,x2,…,xm)和P(x1,x2,…,xm│y)也可同时已知,那么,这时再去区分什么“多输入信道”或“广播信道”还有意义吗?
在多用户情形下,“用转移概率去描述信道”是行不通的,同样,想用一些直线去切割出“信道容量”也更行不通。此时的重点应该是说清楚每个用户的真正通信意图到底是什么,或者说,每个用户的优化目标是什么。否则,如果优化目标都不明确,哪可能有明确的结果呢?
如何才能把每个用户的通信意图,优化目标,说清楚呢?“权重”和“条件互信息”便是最直观的办法。对重要的通信对象,可以将其“权重”提高;对其它用户可以调低权重;对根本不关心的用户,可以将其权重设为0。而“条件互信息”则给出了从所关心的用户群那里,能够获得的信息数量。当然,与《信息论》最核心的仙农信道编码定理一样,本文的博弈论方法也只是给出了网络通信中,各用户达到自己企望值的最大可达目标值,并未给出如何达到这个目标,具体的逼近方法仍然是要由编码和译码专家们去挖掘。
仙农的《信息论》天生就是为1对1的通信系统设计的,不适合于多用户情形。
冯.诺伊曼的《博弈论》天生就是为多人博弈而设计的,1对1博弈仅仅是其特例。
《安全通论》的攻防对抗思想,很偶然地把《信息论》和《博弈论》粘接起来了,于是,便可以用《博弈论》的多用户优势,去弥补《信息论》的多用户缺陷,从而,解决了网络信息论的基本问题:信道容量。这便是本文的奥妙所在。
特别说明:这本该是一篇高影响因子的SCI论文,但是,如今国人已被SCI绑架了,所以,老夫想带头摆脱SCI的束搏,故将此文在这里发表。本文欢迎所有媒体转载。
更新说明:今天是2016年7月25日,此文的阅读量已经达到10380,非常感谢读者们的厚爱。由于一些非常认真的读者提出了一些疑问,所以,我对过去的一些表述(主要是针对仙农的1对1通信)描写得更细了。请见上面红字部分。由此可见,仙农的信息论太漂亮了,使得读者很难摆脱它的框框,始终难以调整到博弈论的思路上来,其实,我自己当初也是在这个问题上反复纠结了好久。幸好博弈论只是用来对付多用户信息论,否则,就更难逃脱仙农的手掌心了。
(六)参考文献
[1]杨义先,钮心忻,安全通论(1)之“经络篇”,见杨义先的科学网实名博客(http://blog.sciencenet.cn/blog-453322-944217.html )
[2]杨义先,钮心忻,安全通论(2):攻防篇之“盲对抗”,见杨义先的科学网实名博客,(http://blog.sciencenet.cn/blog-453322-947304.html )
[3]杨义先,钮心忻,安全通论(3):攻防篇之“非盲对抗”之“石头剪刀布游戏”,见杨义先的科学网实名博客,(http://blog.sciencenet.cn/blog-453322-948089.html )
[4]杨义先,钮心忻,安全通论(4):攻防篇之“非盲对抗”之“童趣游戏”,见杨义先的科学网实名博客,(http://blog.sciencenet.cn/blog-453322-949155.html )
[5]杨义先,钮心忻,安全通论(5):攻防篇之“非盲对抗”收官作及“劝酒令”,见杨义先的科学网实名博客,(http://blog.sciencenet.cn/blog-453322-950146.html)
[6]杨义先,钮心忻,安全通论(6):攻防篇之“多人盲对抗”,见杨义先的科学网实名博客,http://blog.sciencenet.cn/blog-453322-954445.html
[7]杨义先,钮心忻,安全通论(7):黑客篇之“战术研究”,见杨义先的科学网实名博客,http://blog.sciencenet.cn/blog-453322-956051.html
[8]杨义先,钮心忻,安全通论(8):黑客篇之“战略研究”,见杨义先的科学网实名博客,http://blog.sciencenet.cn/blog-453322-958609.html
[9]杨义先,钮心忻,安全通论(9):红客篇,见杨义先的科学网实名博客,http://blog.sciencenet.cn/blog-453322-960372.html
[10] 杨义先,钮心忻,安全通论(10):攻防一体的输赢次数极限,见杨义先的科学网实名博客,http://blog.sciencenet.cn/blog-453322-984644.html
[11]David M.Kreps (著),高峰(译),魏玉根(校),博弈论基础,北京:中国社会科学出版社,1999年3月。
[12] DrewFudenberg,Jean Tirole(著),黄涛等译,姚洋校,博弈论,北京:中国人民大学出版社,2016年1月第10次印刷。
[13] Thomas M.Cover, Joy A. Thomas著,信息论基础,机械工业出版社出版,2007年11月,北京。阮吉寿,张华译;沈世镒审校。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-12-22 19:47
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社