|||
人类行为、复杂网络及信息挖掘的
统计物理研究
汪秉宏[1, 2], *) 、周涛[3],*) ,周昌松[4]
[1]中国科学技术大学 近代物理系 理论物理研究所及
非线性科学中心 合肥 230026
[2]上海理工大学 复杂系统科学中心 及 上海系统科学研究院
上海 200093
[3]电子科技大学 网络科学中心 成都 610054
[4]香港浸会大学 物理系及非线性研究中心
*) 通讯作者: bhwang@ustc.edu.cn; zhutouster@gmail.com; zhutou@ustc.edu ;
摘要:我们正处于一个统计物理大革新的时代。许多重要复杂体系(生命、经济和社会体系:互联网、人类行为、城市交通流、社会关系网络、大脑神经网络)正迫切等待我们发展新的统计物理研究方法,通过实证统计与理论模型分析相结合的手段进行全新的认识和探索。我们建议从人类行为的统计特性,复杂网络同步与复杂神经网络,信息挖掘与复杂网络链路预测三个方面,基于大量的实证统计和分析,结合有效的动力学模型,针对人类自身行为的规律特性、社会个体之间的相互作用、神经系统的动力学演化、信息的有效推荐和网络演化的有效预测等多个重要问题,进行基于统计物理理论的全方位探索,深入挖掘各种决定复杂系统演化过程的基本机制与规律。
引言:
在自然界,工程、经济和社会的各个领域都有大量复杂体系。十二五提出的可持续和谐发展的长远规划对复杂体系, 尤其是与人相关的复杂系统的研究提出了前所未有的要求。特别是近十几年来,科学研究的一个巨大变化,就是越来越多地对复杂体系进行系统层次的综合的统计物理学研究。这一趋势的形成是由科学研究在几个方面长期积累的合力所引起的,包括: (1)复杂性研究的进展——几十年以来,非线性和复杂性统计物理研究通过模型的理论研究发展了一套概念和方法来分析耦合体系中复杂的涌现行为, 比如人和动物的集群行为。这些行为只出现在系统层次,为分离的系统单元所不具有。这些理论进展导致了科学概念的革命性变化,出现了新兴的学科方向,例如系统生物学等。特别是过去十多年来统计物理从传统研究相对独立的多粒子体中的标度与普适现象转移到研究大规模复杂体系中各单元或子系统之间相互作用的复杂的结构关系,形成了一个跨学科的,影响至深的复杂网络领域。 (2)海量数据采集和处理技术的发展——计算机技术的进步使得大规模的数据采集取得突飞猛进的变化,提供了大量研究复杂体系结构与演化的实证数据,比如计算机网络,万维网,交通运输网等。大量有关人类个体和集体行为的数据也为定量研究复杂社会体系提供了前所未有的契机。
我们正处于一个统计物理大革新的时代,许多史无前例的事关社会经济发展的复杂体系正迫切等待我们发展新的统计物理的分析手段和理论模型来对它进行全面深入的认识。复杂体系的系统层次统计物理研究虽然已成潮流,然而它却面临巨大的挑战。最大的问题是理论模型及计算研究与大规模真实数据之间还存在一个巨大的鸿沟。复杂性统计理论模型往往没有考虑到许多真实体系,特别是与人个体或群体有关的生命和社会体系是变化过程中经过选择优化的结果,对他们的多重的约束在这样一个优化问题中没有得到足够的重视和认识。其次,作为开放系统,它与环境交换能量和物质的边界条件对优化结果的选择起到至关重要的作用。这些是研究真实的复杂体系的真正挑战所在。当模型的构建和分析没有足够考虑这些重要方面, 理论结果往往与真实系统很难相符,甚至于不相关。对这些内在约束和外在边界条件的了解有赖于对具体的复杂体系进行细致深入的实验实证研究。
虽然技术的进步为在系统层次观测和收集数据提供了前所未有的机会,大规模的数据积累也非常之快,然而,有组织、有针对性地从实验实证数据探索系统的内外约束条件还处于初步的阶段。因而,如何分析应用这些数据来全面理解真实系统的行为却进展甚微。关键的问题是缺乏有效的理论框架, 所获得的数据在数量上可能很大,却不一定有很强的针对性, 信息比较散杂。数据中大量貌似杂乱可往往包含有用的系统组织的信息,由于缺乏有效的理论指导, 在数据挖掘中很可能当作噪声被丢弃了。所得的系统信息不易串联在一起形成有效的关于体系在所受到多重约束和边界条件下的组织图像。如在认知神经科学领域,大脑自发的复杂活动通常作为噪声处理,大大限制了对这样一个动态复杂体系结构和功能的认识。经济、社会领域的数据积累也往往缺乏有系统的理论指导。
由于对这些根本性的挑战还缺乏比较全面深入的认识,复杂体系的统计物理研究还处于初步阶段。在我国国内有不少学者在复杂性一般模型和理论方面展开了比较活跃的研究,但还缺乏有意识、有组织和有规模的在理论和数据的有机结合上进行系统化的发展。因此,很有必要基于当前国内研究团队的分布,组织国内的科研合作力量,把理论研究和实证分析紧密地结合起来,缩小理论及计算研究与大模型实验实证数据之间的鸿沟, 从而在根本上推动我国在复杂系统统计物理这一新兴领域的进步,在国际学术竞争中占一席之地,甚至处于领军位置。
下面我们将对人类行为、复杂网络、信息挖掘等三种复杂系统的统计物理研究之最新进展和主要问题分别进行详细阐述并分析。
(一)人类行为动力学
最近数十年来,人们在复杂系统研究领域内取得了令人瞩目的成就。复杂系统的研究具有着天然的综合性和交叉性,它所涉及的问题几乎遍及人们所研究的绝大多数领域,不但包括物理学、生物学等自然科学学科,也包括了经济学、社会学等社会学科。随着对复杂系统研究的不断深入,该领域的研究对各种社会学科的渗透越来越强烈,其理论影响和实际应用也越来越广泛。近年来,对人类行为的统计研究已经成为复杂系统中的一个重要议题。
不同于传统的心理学实验的方法,复杂系统研究者对于人类行为的研究主要通过统计物理的方法:通过对大量的人类行为事件进行定量统计,研究其中所隐藏的统计性规律,并根据所研究的问题,提出基本假设,建立理论模型,来探索这些规律的产生机制和可能的动力学影响。基于这样的研究方法,近年来人们发现了人类行为中所存在的大量的特殊的现象和规律,这些发现引发了人们对更深一步地探索人类的社会行为的热潮。特别是从2005年以来,仅在Nature, Science, PNAS,PRL等强影响因子期刊上就已经发表了三十余篇文章。
1.1,人类行为时间统计特性的实证研究
在以往一些的对社会、经济系统的研究中,常常把单个人的行为简化为可以使用泊松过程描述的稳态随机过程。这种假设必然导致的推论是人的行为的时间统计特征应该是较为均匀的,两个相继行为之间存在极大的时间间隔的概率很小。但是,自2005年以来,通过对电子邮件发送与回复、邮件通信等人类行为的时间间隔的实际统计,人们发现这些行为存在与上述假设极为不同的特性[1,2]:长时间的静默与短期内的高频率的爆发,同时呈现在这些人类行为中,其时间间隔分布存在满足反比幂函数的胖尾,也就是说,这些行为的发生过程是不能用泊松过程描述的。这一出人意料的研究结论提示人们,人类的个体行为可能存在复杂的动力学机制,而随之而来的一个重要的问题是,这种非泊松特性在人类行为中是不是普遍存在的?人们对这一问题进行了极为广泛的研究。
通过各种不同的数据收集方法,人们的研究涉及市场交易[3,4,5,6]、网站浏览[7,8],电影点播[9],欣赏网络音乐[10],手机通讯[11],在游戏及虚拟社区中的行为[12,13],计算机指令的使用行为[14]等,包含了商业行为、娱乐行为、日常使用习惯等众多的人类行为,在这些行为中,普遍发现有类似的偏离泊松过程的特性。这些现象显示出,除了受到生理周期强烈影响的部分行为外,时间间隔统计所显示的非泊松特性可能是在人类行为中普遍存在的。
除了时间间隔分布,部分人类行为事件前后时间间隔的相关性也得到了研究者的注意。研究发现,这些人类行为相邻时间间隔的相关性并不明显,而其他同样存在爆发性和长期静默性的自然现象(如地震等)常常存在正的相关性[15]。这一项研究初步把人类行为和其他复杂系统中的行为特性进行了比较,暗示可能存在统一的深层机制。
1.2,人类行为动力学模型研究
上述统计特性说明人类的众多行为是不能使用泊松过程来描述的,那么一个重要的问题是:这种胖尾分布的行为特征的来源是什么?目前的一种重要的解释是基于任务队列理论的[1,16,17,18],它把人的各种日常行为视作处理一系列的任务,并根据日常生活经验假设对这些待处理任务进行优先级划分,首先处理高优先级者,指出这种具有优先权的行为模式是造成胖尾分布的重要原因。这种基于任务队列的理论模型可以合理地解释很多人类行为中的非泊松特性,例如电子邮件和水陆邮件的发送等,而且可以相当容易的推广到存在多个个体之间的交互的情况[19],在解释人类行为时间统计胖尾分布特征方面取得了很大的成功。
此外,由于人类行为的复杂性,影响人类行为的因素是多种多样的,所以,有部分研究从不同于任务队列的方面出发,提出了多种非排队论模型。例如,有的工作考虑了人类行为中的记忆效应[20],有的研究了行为的周期性和季节性对非泊松机制的影响[21],近期的一种理论从多重泊松分布的角度解释了人类的行为特性[22]。
最后,国际上有少数工作研究了人类行为的非泊松特性对网络传播、通讯等动力学过程的影响。例如,发现相比于一般的泊送特性,这种非泊松特性可以给系统带来一些特殊性质,比如更快的传播速度等[23]。由于这一领域发展时间很短,在这一问题上还有海量的工作等待研究。
1.3,人类行为空间统计特性的研究
除了发现人类行为的时间间隔分布中广泛存在有非泊松特性,最近也发现在人类行为的空间分布中也存在有非泊松特性等复杂现象。2006年通过统计帐单传递[24],人们间接地发现了人类的旅行行程分布存在接近于幂律的胖尾;2008年,Gonzalez等通过统计移动电话用户在不同基站区域的漫游过程[25],更进一步的研究了人的旅行行程分布,同样发现该分布具有无标度特性,与早期的结果基本一致。更为直接的基于GPS数据的统计结论[26]也支持人类行程分布中存在无标度特性。此外,在生物学观测也发现大量的动物物种的运动具有类似的幂律形式的行程分布[27,28,29]。由于这种幂律形式的行程分布存在较高频率的远程运动,它无法通过经典的随机行走进行描述。这种行程分布的广泛性,使得人们需要去思考它背后的动力学机制是什么。虽然对于动物行为中的幂律行程分布已经提出了觅食效率优化[30,31]、嗅觉梯度机制[32]、确定性行走[33]等。目前对人类的这种行程分布模式的产生机制的解释方面的研究仍然是空白。在另一方面,由于这类非泊松特性常常会使得系统出现若干特殊性质,那么这种人类行为的空间分布上的非泊松特性同样可能影响到城市交通、人流控制、紧急避险等系统的运作,可能会使其带有若干特殊性质,这些问题目前尚未被研究,也值得研究者的注意。
1.4,人类行为动力学对传播的影响
人类行为的特性,不仅帮助人们更好的了解自己的行为特征,进一步挖掘这些统计数据背后所隐藏的人类特性,还关系到了人们对于多个方向的模拟和理解,其中讨论最多的,应属人类动力学对于疾病在人群中传播的影响。在这里主要从时间和空间两个方向来介绍人类行为对于传播的速度、波及的范围、预防的策略等的影响。
经典的疾病传播模型,都基于一些有悖于人类真实行为的假设:1、人活动的时间间隔相同,即所有人都均匀的在每个时间步活动一次,这里的“活动”,是指传播或康复的行为;2、所有人活动的频率在群体中是无差别的,即每个个体的活动密度一样。然而,参考前文人类时间间隔实证统计发现,这些假设与人类行为具有的阵发性、记忆性和活跃性有着很大的出入。
为关注人类活动的阵发性对于病毒传播的影响,Vázquez等人用人们查收E-mail的两组数据,分别为3188个用户之间发送的129135封邮件,1729165个用户之间互发的39046030封邮件,在实证数据的网络上,根据真实时间间隔,模拟了网络上计算机病毒的传播情况[43]。以天和小时为单位的统计结果,都表明人类行为的时间间隔满足幂率分布,会极大程度上减慢病毒的传播。人类活动的阵发性对于病毒传播具有明显的延迟作用。
文献[44]也运用SIR模型通过模拟,讨论了时间分布的阵发性对于传播过程的影响,设置了存在等待时间的模型,并得到结论:时间的异质性越强,病毒存活的概率越小。
在人类活动时间间隔满足阵发性的基础上,为探讨时间序列的记忆性对传播过程的影响,Karsai等人基于电话网络的实证数据,时间跨度为9个月,在规模为N=4.6×106的网络上模拟传播[45]。通过对比网络是否含权重、网络是否有向、通话时间分布是否有记忆性,模拟结果表明,人类行为时间和空间上的异质性会一定程度的减慢传播过程。
时间的异质性又体现在个体与群体两个层面上,也有工作进一步比较了二者对于疾病传播的速度的影响[46]。所谓群体层面的时间异质性,是指每个人活动的时间序列,间隔平均,而人与人之间的频率有较大差别,满足幂律分布,而个体层面的时间异质性,表现为人与人之间活动的频率相同,而单人活动的时间间隔满足幂律分布。群体层面上时间的异质性对传播速度的影响非常大,相比之下,个体层面上的对传播影响很小。
为了揭示人类的行程分布对于传播过程的影响,Ni等人利用连接概率与度成正比,与欧氏距离成反比的机制,构造网络,并在网络上模拟传播过程[47]。研究发现,行程分布的几何特征越鲜明,即人们更倾向于去到距离自己欧氏距离比较近的地方,病毒传播所波及的范围就越小,持续时间也就越短。
相比于个体形成分布的活动特征,更多人关注,在宏观的意义上,人类的长程旅行对于病毒在城市间扩散的影响。早在2004年,Hufnagel等人就在美国的航空网络上,假设人口密度随机分布,建立了SARS病毒传播的模型[48]。该模型考虑了局部病毒传播,和城市间由于飞行造成病毒传播两种因素,模拟出的结果与实证很好的吻合,并提出了有效地预防及抑制疾病传播的策略。针对以上模拟及解析结果,Hufnagel等人还提出了相应的预防策略,通过模拟,比较了减少局部地区个体接触和减少长程出行两种预防策略,得出孤立城市,即减少城市间的长程旅行可以更有效地防治疾病扩散,并给出了集中早期进行疫苗注射的显著效果[48]。此后,2006年Colizza 等人专门就人类长程出行的拓扑结构对于病毒扩散造成的影响进行了研究[49]。为了进一步探究网络的拓扑结构对于疾病人数分布的影响,还提出了病毒分布熵的概念,来刻画病毒流行的地区异质性。通过与实际网络病毒传播情况的对比,发现以前很多刻画人类行程拓扑结构的模型在细节上还需改进。
1.5,国内相关研究进展
该领域兴起也引起了国内研究者的注意。目前,中国科学技术大学复杂系统课题组、上海理工大学管理学院、上海交通大学自动化系等都已经有相关的研究论文在国内外学术期刊发表。这些工作可以简述如下:
在实证方面,中国科学技术大学复杂系统课题组的周涛等人与韩国成均馆大学及瑞典皇家学院合作研究了电影点播中的人类行为模式以及与个体活动性之间的关系[9,34], 洪伟等研究了人类短消息通讯中的时间间隔分布[35],发现了多种无标度特性;上海理工大学课题组的张宁、李楠楠和周涛合作分析了鲁迅、钱学森等名人的邮件通讯数据[36,37];上海交通大学的胡海波等人研究了网络在线音乐的收听行为[10]. 在理论模型方面,中国科学技术大学的韩筱璞等提出可自适应调节的兴趣机制来解释人类行为的非泊松特性[38,39]. 此外,上海理工大学方面还发表了针对人类动力学的中文综述[40],上海理工大学的郭进利等和中国科学技术大学的周涛等人合作编写出版了专著《人类行为动力学模型》[41],中国科学技术大学的周涛、韩筱璞、汪秉宏也在世界科学出版社出版的专著《Science Matters: Humanities as Complex Systems》中撰写了关于人类动力学研究的一个专门章节[42]。
1.6,面临的主要问题
由于该领域的发展时间短暂,目前在存在有大量的问题有待于深入的研究:
第一,已有的实证统计主要针对个体行为,但仍然存在大量的个体行为的特性并未被研究,已有的研究结果尚难以根据统计特性区分个体行为的主要类别;而针对团体行为的实证研究更几乎是空白。事实上,人类的行为常常受到起社会关系的影响,在这方面定量的实证研究仍然非常欠缺。另外,一些最近发展的理论,例如人类动力学的普适类假说,受到了新的实证数据的挑战,更清晰和令人信服的图景需要更多和更深入的实证分析。
第二,除了人类的个体行为,我们所做的一些最新的统计也发现,一些社会团体的宏观行为也具有类似的非泊松特性,例如国家之间的战争的时间间隔分布等;由于目前的实证统计有限,对于社会团体而言,这些特性在多大范围内存在,是否与人类个体行为具有相似的生成机制,都仍然是未知问题,需要进行深入的研究。
第三,在研究人类行为的空间分布方面,目前的实证数据全是根据帐单、手机漫游等数据间接获得的,缺少对人类行为空间分布的直接观察;而其产生机制和动力学效应方面的研究目前几乎没有。
第四,目前的理论模型研究,虽然已经提出了多种唯相机制来解释人类行为中的非泊松特性,但是这些机制难以覆盖全部的人类行为中的非泊松特性现象,需要新的更具有普适性的模型的提出。
第五,人类行为特性对各种社会系统的动力学效应的影响研究,尽管已经出现了少数这方面的研究,但是所涉及的问题众多,研究空白特别多,需要大量的工作深入进行。例如人类行为的空间分布特性是如何影响城市交通等。
(二)复杂网络动力学——同步与神经动力学
2.1 复杂网络:科学与技术的新前沿
在过去的十多年里我们见证了由一个影响深远的交叉学科“复杂网络”的出现带来的复杂系统研究上的重大革新(见终述[50,51])。在很多真实世界中的复杂系统中,系统基本元素之间相互作用构成了复杂的拓扑连接[52]。来自不同学科领域的这些复杂网络既不是规则连接也不是随机连接,而是具备两个共同的特性。这两个共同的特性分别是由较短路径长度所描述的小世界特性 [53] 和具有很大的连接(度)的中心节点的无标度特点 [54]。
复杂网络领域的主要方向是图理论分析工具的发展以及将这些工具应用于刻画不同领域里的复杂系统[50,51]。在复杂网络领域的研究方法中,复杂系统的基本元素是由节点来表示,元素之间的相互作用是由边来表示,而元素和相互作用的一些细节的特点通常被忽略考虑。
在对复杂系统的研究中,上述过度简化的研究方式限制了方法的效能。一个很大的挑战是,对整个网络的全局统计量(如平均路径长度,簇系数等)进行测量时,网络的结构并不能够真正决定系统的行为。例如,由脑皮层区域之间长程连接所构成的大脑网络的小世界和无标度特点[55,56] 确实能为结构基础对大脑的功能表现提供一些视角,但是要想对大脑功能作出更重要的深入理解需要基于对神经元和复杂网络结构的重要特性综合之后对大脑的动力学进行深入细致的分析。
将网络的结构和复杂系统的行为联系起来的重要一步是对在网络上发生的动力学过程的研究[51,57]。在很多复杂系统的动力学研究中,特别是对于神经系统[58, 59],复杂网络的振子同步作为共同行为的自组织现象的重要机制已经成为深入探索的一个重要课题(见我们在综述[60])。
2.2 复杂网络同步研究的成就及重大挑战
在振子同步性问题上,研究的焦点集中考虑网络拓扑结构方面,特别是小世界和无标度特性的影响上[60-64]。在整个网络的全局同步方面,很多工作要么考虑全同振子实现的完全同步或者是非全同振子由于锁相实现的协作振动[60]。之前已经有很多研究主要使用主稳定性方程来探索完全同步状态的稳定性,而在这个方法中,根本不考虑振子的特殊属性,而是将网络同步性与网络的特征谱挂钩[62,63]。文献主体部分是通过对权重和耦合强度的拓扑结构进行调整来加强振子的全局同步性[60,63,64]。
虽然完全同步非常方便进行稳定性分析,但是它不是真实的复杂系统中最自然的状态。相反,大尺度的强同步对应的是系统病态情况,比如社会灾难,癫痫发作,真实系统是不希望这些状态的。真实的系统特别是神经系统,为了实现正常的功能需要不同层次的同步,使得系统通过分割成不同动力学模块在各自的子系统里实现特殊的功能,同时,这些专门的模块间的相互作用有效地实现了分割处理的信息的整合。
最近网络研究中将网络分成不同的拓扑模块的研究方法已经引起了广泛的关注[65]。除了小世界和无标度特性,模块化是真实网络另一个普适特征。例如在神经系统中,数十亿神经元被耦合形成不同层次的(从单神经元连接组成的神经柱,由不同神经柱连接再形成的功能区域)模块网络。通过模块之间不同层次上的合作同步,模块结构为系统实现功能的分类和整合提供了一个天然的基础。虽然关于模块研究的最近的一些工作仍然考虑完全同步态的稳定性问题[66],但是主流的趋势已经转移来研究系统在并未完全同步时的动力学模块的形成,这个方法同时用于探测网络结构模块[67,68]。
值得注意的是很多之前著名的研究仍然将网络的随时间变化的动力学(如网络演化[50])和动力学行为在网络上的表现(如同步,信息传播 [51,57])分开考虑。然而在大量真实的复杂网络系统中,结构与动力学的相互影响是至关重要的。不只是结构决定了动力学斑图,反过来动力学也使得结构进行了与之相适应的调整,后者在众所周知的神经系统的学习机制中表现得尤为明显。很多真实系统自组织了网络结构,并且在两者共同演化中实现了对功能的优化。有些工作开始关注在适应性网络上来对结构和功能的相互影响进行分析[69]。
综上所述,在振子网络的理论分析和模型研究中的主要挑战是:(i)刻画复杂同步斑图的复杂性程度与网络不同层次结构之间的关联(ii)探索在各个层次里通过结构模块和动力学模块的相互影响实现两者的自组织。这个方向的探索刚刚起步,将长期影响我们对可以用振子及其同步来根本表现其功能的真实复杂系统,特别是神经系统的理解[58, 59]。
2.3 神经网络与神经动力学
由几百亿个神经元通过极其复杂的,多层次连接而形成的大脑皮层神经系统是自然界中所知的最为复杂的动力学网络体系。它的结构与动力学直接关系到大脑的各种功能及相应的精神疾病及认知障碍。最近十多年来,由于脑造影技术的进步,人们已在系统层次对大脑的连接及活动积累了非常多的有益的数据。如何分析理解这些数据从而获得对大脑大规模的复杂结构,动态活动及认知功能之间的关系,必将是未来研究大脑会蓬勃发展的新方向。
在过去几十年内,非线性与复杂性物理科学的各种理论和方法得到长足的发展,并将其应用于神经科学领域. 特别是复杂网络方法的应用已经勾勒出一个关于大脑的新的图景,使得我们可以从解剖学上的神经连接层面以及动力学,也就是大脑功能上的区域相互关联层面上来研究这个复杂的神经网络结构 [70,71,72]。在大脑的系统层面上,根据之前的研究[26,74],由哺乳动物的脑区间的长程连接所构成的脑皮层网络已经展示出小世界和无标度特性。这个发现的意义是巨大的:它暗示着每个脑区的活动都可能同时被其他脑区的活动影响。由测量到的不同脑区活动的相关性所得到的大脑功能区之间的相互作用的功能网络也展示了这个复杂的大脑斑图,这一点甚至当大脑处于静息态,也就是说大脑在没有外感觉输入,只有完全自发的自组织活动的状态下也同样存在[75,76,77]。传统的认知神经科学在过去的10多年也开始转而研究大脑自发活动在功能上的影响[78]。然而,认知科学方面的分析还是主要局限在考虑由少量脑区所组成的自下而上(前馈)或者从上而下的(反馈)机制[79]。与只研究少量脑区相比,从复杂网络角度同时研究神经系统中各部分的相互作用将会带来关于动力学和功能的相互关系方面更多的信息。但是我们究竟要如何解读这些信息呢?
大脑的复杂网络假设呼唤着新的方法来揭示出大脑大尺度的功能网络和认知过程的关联。如今基于网络的分析和测量工具不足以应付研究复杂的大尺度动力学相互作用的斑图,并将它们与只在50-100毫秒的短时间窗口里发生的各种认知过程相联系的需要。(i)现在这些复杂的大脑网络的特征分析只是局限在讨论网络的全局统计量,例如簇系数,平均路径长度等等。而对于功能网络的分析也主要是考虑在长时间尺度下统计意义上,脑区活动相互作用的斑图。(ii)普适的网络理论对于结构和动力学关系的探索只是局限在一些理想的情况下。例如:复杂网络中振子同步问题已经被大量研究(见我们最近的一篇综述[67])。但是,这些研究主要是集中在全局同步上[80,81,82],也就是,整个网络的完全同步。通过理论的稳定性分析可知,大尺度完全同步并不允许信息的分割处理,这一点与神经系统中需要信息的分隔处理与整合的恰当平衡相抵触,因而与神经系统的疾病状态相对应,如癫痫发作[80]。
因而,对大脑复杂的联结结构与活动的统计分析和模拟研究的挑战是如何把复杂网络和复杂动力学系统的一般理论同真实神经系统的特异性有机结合,发展新的理论方法并把它应用到真实的数据分析和模型的建立上。这需要从事复杂性统计物理研究的学者与神经科学家之间的紧密合作。
(三)信息挖掘的统计物理分析
随着因特网的迅猛发展,接入因特网的服务器数量[83]和World-Wide-Web上网页[84]的数目都呈现出快速增长的态势。用户可得信息量的激增使得人民的生活变得多元化,但与此同时,也带来了信息过载的问题。例如,Netflix上有数万部电影,Amazon上有数百万本书,Del.icio.us上面有超过10亿的网页收藏,如此多的信息,别说找到自己感兴趣的部分,即使是浏览一遍标题也是不可能的。信息过载,简单来说,就是信息量的激增使得信息的利用率反而降低。高效准确的信息推荐技术,特别是针对不同用户不同喜好的个性化推荐技术,是解决信息过载问题最有前途的方案[85]。另外需要注意的是链路预测技术,这是一种不完整信息重构的有效手段。下面,我们将从信息推荐理论和算法以及链路预测理论和算法两方面进行叙述。
3.1 关于信息推荐
个性化推荐系统,本质上讲是根据用户对相关产品的历史评价,代替用户评估他尚未接触的产品的一种工具[86]。这些产品包括书、电影、CD、网页,甚至可以是饭店、音乐、绘画等等。个性化推荐系统作为一个独立的概念,在上世纪九十年代已经被提出。由于Web2.0技术的发展和成熟,用户可以方便地针对网上服务提供反馈信息,这些反馈信息可以反映用户的喜好,从而被网络服务提供商用来进行推荐。因此,最近几年,个性化推荐系统的研究得以迅猛发展。
虽然早在1992年开发的Tapestry系统就己经是真正意义上的信息推荐系统了,但推荐系统的概念直到1997年才由Resnick和Varian正式定义[86],推荐技术也才逐步发展为一个独立的研究领域。《Communications of ACM》分别于1992年和1997年出版了两期推荐系统的专刊,国际著名期刊《Journal of Information Technology and Tourism》、《ACM Transactions on Information System》、《ACM Transactions on Computer-Human Interaction》、《International Journal of Electronic Commerce》、《IEEE Intelligent Systems》、《AI Communications》等也分别于2003年、2004年、2005年、2007年出版了推荐系统的专刊。除这些专刊外,多个顶级的国际会议,如CHI、ACM SIGIR、ECAI、AAAI、ReColl等都设立专门的推荐系统的工作组。由于推荐系统的重要地位,ACM SIGIR设立了专门的推荐系统会议,其第一届会议于2007年在美国明尼苏达大学召开,第二届会议于2008年在瑞士洛桑理工大学召开。
一般而言,信息推荐系统通常包括三个组成要素[85]:推荐候选对象、用户和推荐方法,其中推荐方法是整个推荐系统中最核心、最关键的部分,在很大程度上决定了推荐系统的性能。目前针对推荐方法的分类也有好几种,其中多数研究者将推荐技术分为三类:基于协同的推荐(协同过滤)、基于内容的推荐和混合推荐技术。
(1)协同过滤系统——协同过滤系统是最早被提出并得到广泛应用的推荐系统,其核心思想可以分为两部分[87]:首先,利用用户的历史信息计算用户之间的相似性;然后,利用与目标用户相似性较高的邻居对其它产品的评价来预测目标用户对特定产品的喜好程度。系统根据这一喜好程度来对目标用户进行推荐。协同过滤推荐系统最大的优点是对推荐对象没有特殊的要求,能处理音乐、电影等难以进行文本结构化表示的对象。Grundy被认为是第一个投入应用的协同过滤系统[88],该系统通过建立用户兴趣模型给用户推荐相关的书籍;Tapestry邮件处理系统人工确定用户之间的相似度[89];GroupLens建立用户信息群,群内的用户可以发布自己的信息,依据社会信息过滤系统计算用户之间的相似性,进而向群内的其它用户进行协同推荐[90]。Ringo利用社会信息过滤方法向用户推荐音乐[91]。其它利用协同过滤方法进行推荐的系统还有Amazon的书籍推荐系统[92]等。虽然协同过滤推荐系统得到了广泛的应用,但是也面临很多问题,例如针对新用户或新产品推荐问题(冷启动问题),打分稀疏性问题,算法可扩展性问题等等。
(2)基于内容的推荐——基于内容的推荐不是依据用户对项目的评价意见,而是依据用户已经选择的产品内容信息来计算用户和产品之间的匹配度,进而进行相应的推荐。基于内容的推荐算法的根本在于信息获取和信息过滤[93],关键在于内容信息的获取和匹配。因为文本信息获取与过滤方面的研究较为成熟,多数基于内容的推荐系统都建立在对产品的文本分析上。在大多数的基于内容的推荐系统中,产品的内容常常被描述成关键词。Fab系统[94]就是一个典型的例子,它用一个网页中最重要的100个关键词来表征这个网页;而Syskill & Webert系统[95]则用128个信息量最多的词表示一个文件。系统根据文本相似性推荐与用户过去喜欢的产品最为相似的产品[94,95]。基于内容的推荐系统中,用户的配置文件构建与更新是其中最为核心的部分之一,也是目前研究人员关注的焦点。例如Somlo和Howe[96]以及Zhang等人[97]提出了利用自适应过滤技术更新用户配置文件;Chang等人[98]通过区分长期感兴趣与短期感兴趣的关键词,赋予短期感兴趣的关键词更高的权重,在此基础上建立新的关键词更新树,从而大大减少了更新配置文件的代价。Degemmis等人[99]利用WordNet构建基于语义学的用户配置文件,配置文件通过机器学习和文本分类算法得到,里面包含了用户喜好的语义信息,而不仅仅是关键词集。基于内容的推荐系统不可避免地受到信息获取技术的约束,例如自动提取多媒体数据(图形、视频流、声音流等)的内容特征具有技术上的困难,使得这方面的相关应用受到了很大限制。
(3)混合推荐技术——如前所述,协同过滤和基于内容的推荐算法在投入实际运营的时候都有各自的缺陷,因此实际运营的推荐系统常将两种甚至多种推荐算法进行结合,即采用混合推荐算法。针对实际数据的研究显示这些混合推荐系统普遍具有比上述独立的推荐系统更好的准确率[100-102]。建立混合推荐系统的方法之一即是独立地实现协同过滤和基于内容的推荐算法,然后将两种推荐结果结合起来,利用预测打分的线性组合进行推荐[103]。又或者,只推荐某一时刻在某一个评价指标下表现更好的算法的结果。例如,Daily Learner系统[104]就选择在某一时刻更可信的结果进行推荐,而文献[105]选择一个与用户过去的打分相一致的结果进行推荐。另外常见的方法是在一种推荐算法的框架中嵌入另外的算法作为某一个辅助部分。例如,Melville等人[106]利用基于文本分析的方法在协同过滤系统中用户的打分向量上增加一个附加打分,附加分高的用户的信息优先推荐给其它用户;Aciar等人[107]利用文本挖掘技术分析用户对产品的评论信息,提出基于知识和协同过滤的混合推荐系统。
除了上面三类方法以外,多种数据分析技术,如数据分类、数据聚类、Bayesian网络、关联规则、K-means方法、神经网络、线性回归、最大熵方法、云模型、多示例学习等等均被用于推荐系统,此处不再赘述。此外,用户的行为特征、个性化的领域知识等也被用于个性化推荐系统。
3.2 关于链路预测
链路预测(Link Prediction)问题是指通过对已知网络结构的分析,包括一些可能的节点的其他信息,来评估尚不相连的两个点之间产生链接的可能性,进而实现预测[108]。该问题具有重要的应用价值,并且可以对网络科学的理论研究,特别是网络演化规则和节点相似性指标的评判问题,起到重要的贡献。下面我们从实际应用和理论意义两个方面叙述。
很多生物网络,例如蛋白质相互作用网络和新陈代谢网络,节点之间是否存在链路,或者说是否存在相互作用,是需要通过大量实验结果进行推断。仅以蛋白质相互作用网络为例,酵母菌蛋白质之间80%的相互作用不为我们所知[109],而对于人类自身,我们知道的仅有可怜的0.3%[110,111]。由于揭示这类网络中隐而未现的链接需要耗费高额的实验成本,如果能够在已知结构的基础上设计出足够精确的链路预测算法,再利用预测的结果指导试验,就有可能非常明显地降低试验成本并加快揭开这类网络真实面目的步伐!实际上,社会网络分析中也会遇到数据不全的问题,这时候链路预测同样可以作为准确分析社会网络结构的有力的辅助工具[112,113]。除了帮助分析数据缺失的网络,链路预测算法还可以用于分析演化网络。举例来说,近几年在线社会网络发展非常迅速[114],链路预测可以基于当前的网络结构去预测哪些现在尚未结交的用户“ 应该是朋友” ,并将此结果作为“ 朋友推荐” 发送给用户:如果预测足够准确,显然有助于提高相关网站在用户心目中的地位。另外,链路预测的思想和方法,还可以用于在已知部分节点类型的网络(partially labeled networks)中预测未标签节点的类型——这可以用于判断一篇学术论文的类型[115]或者判断一个手机用户是否产生了切换运营商(例如从移动到联通)的念头[116];以及用于纠正观察到的网络结构中可能存在的错误[117],因为很多构建生物网络的实验中存在暧昧不清甚至自相矛盾的数据[118]。
链路预测的研究可以从理论上帮助认识复杂网络演化的机制。针对同一个或者同一类网络,很多模型都提供了可能的网络演化机制[119,120]。由于刻画网络结构特征的统计量非常多,很难比较不同的机制孰优孰劣。链路预测机制有望为演化网络提供一个简单统一且较为公平的比较平台,从而大大推动复杂网络演化模型的理论研究。另外,如何刻画网络中节点的相似性也是一个重大的理论问题[121],这个问题和网络聚类等应用息息相关[122]。类似地,相似性的度量指标数不胜数,只有能够快速准确地评估某种相似性定义是否能够很好刻画一个给定网络节点间的关系,才能进一步研究网络特征对相似性指标选择的影响。在这个方面,链路预测可以起到核心技术的作用。链路预测问题本身也带来了有趣且有重要价值的理论问题,也就是通过构造网络系综并藉此利用最大似然估计的方法进行链路预测的可能性和可行性研究。这方面的研究对于链路预测本身以及复杂网络研究的理论基础的建立和完善,可以起到推动和借鉴的作用。
近几年,基于节点相似性的链路预测框架受到了广泛的关注,在该框架中,两个节点之间相似性(或者相近性)越大,就认为它们之间存在链接的可能性越大。尽管这个框架非常简单,但是相似性定义本身内涵丰富,它既可以是非常简单的共同邻居的个数,也可以是包含了复杂数学物理内容的诸如随机游走的平均通讯时间[123]或者矩阵森林数目[124]。因此这个简单的框架事实上提供了无穷无尽的可能性。Liben-Nowell 和Kleinberg[125]将相似性指标分为基于节点和基于路径的两类,并分析了若干指标对社会合作网络中链路预测的效果,他们发现,在仅考虑节点邻居信息的若干指标中,Adamic-Adar 参数[126]表现最好。周涛、吕琳媛和张翼成[127]在6 种不同网络中比较了9 种局部相似性指标在链路预测中的效果,并提出了两种新指标:资源分配指标(resource allocation index)和局部路径指标(local path index)。研究发现,新提出来的这两种指标具有明显好于包括Adamic-Adar参数在内的9 种已知指标的预测能力。最近其他小组的研究结果显示,新提出来的相似性指标在进行群落划分和含权网络权重设置[128]的时候也比原有指标好。吕琳媛、金慈航和周涛[129]进一步在噪音强度可控的网络模型与真实网络中细致分析了局部路径指标的性能,发现这个指标具有与依赖于网络全局结构信息的指标,例如Katz 参数[130],可匹敌的预测能力,甚至在噪声较大的情况下可以比Katz 参数预测得更加准确。考虑到局部路径指标是一个计算量非常小的局部参数,其应用前景可观。刘伟平和吕琳媛[131]比较研究了一些基于随机游走的相似性指标,并提出了两种局部随机游走指标,他们发现有限步的随机游走反而可以给出超过全局收敛后的预测精度,而最优的游走步数受到网络平均距离的强烈影响。另外,Huang 等人的实验结果暗示[132],在得到节点间的直接相似性后,利用协同过滤技术对相似性指标进行一轮加权处理,一般而言可以得到更好的结果。
最近,最大似然估计方法被尝试应用于链路预测中。Clauset, Moore 和Newman[133]认为很多网络的连接可以看作某种内在的层次结构的反映,基于此,他们提出了一种最大似然估计的算法进行链路预测,这种方法在处理具有明显层次组织的网络,如恐怖袭击网络和草原食物链,具有较好的精确度。Guimera 和Sales-Pardo[117]假设我们观察到的网络是一个随机分块模型(Stochastic Block Model)[134]的一次实现,在该模型中节点被分作若干的集合,两个节点间连接的概率只和相应的集合有关。Guimera 和Sales-Pardo[117]提出了基于随机分块模型的最大似然估计方法,将其用于链路预测,可以得到比Clauset, Moore 和Newman 更好的结果。
另外一个需要特别注意的趋势,是随着一些原来从事复杂网络研究的学者对链路预测问题的关注,很多复杂网络,特别是社会网络分析中遇到的理论与方法被应用到链路预测中。例如吕琳媛和周涛[135]发现在针对某些含权网络进行链路预测的时候,权重很小的边反而起到了比高权重边更大的作用,这与社会网络研究中广为人知的“ 弱连接理论” [136]有深刻的关联。Leskovec, Huttenlocher和Kleinberg[137]则注意到了近期“ 社会平衡理论” 的定量化研究成果[138,139],并在此启发下设计了可以预测网络中的正负(友敌)链接的算法。
我们注意到一方面受阻于网络节点外在属性在获取上的难度,另一方面受益于复杂网络研究的快速发展,链路预测问题的主要研究热点逐渐从依赖于节点属性的方法转移到只利用网络结构信息的方法上。显然,后者在理论上也更优美简洁。不过,这个方面的研究主要集中在社会网络上,尚欠对于大量算法在各种不同网络中的预测能力的系统分析和总结,另外,目前还没有算法性能和网络结构特征之间关系的较深入的研究。对于比较复杂的网络,例如含权网络、有向网络和多部分网络的讨论虽然有,但非常少,也不系统。相关的研究应该是近几年该方向的主流。
网络系综理论和与之关联的网络熵的概念以及最大似然估计方法有望推动形成复杂网络的统计力学理论基础。这方面研究存在的一个问题是熵的精确计算复杂性非常大,对于大规模网络而言往往不能实现。最近的一些链路预测算法已经应用了网络系综和最大似然的概念,但是这些算法计算复杂性很大,精确性也不是很高[117],例如文献[133]的方法目前只能处理数千节点的网络,且其预测效果对于不具有明确层次结构的网络并不好。我们认为以下两个问题应该是目前国际上相关研究小组比较关注的:一是如何以网络系综理论为基础,建立网络链路预测的理论框架,并产生对实际预测有指导作用的理论结论,例如通过对网络结构的统计分析估算可预测的极限,指导选择不同的预测方法等等;二是如何设计高效的算法来处理大规模网络的链路预测问题。网络系综理论和链路预测的深度结合很可能成为西北大学研究组最近关注的焦点。
最近十年,复杂网络研究在很多科学分支,包括物理、生物、计算机等等掀起高潮[140],其中相当一部分研究立足于揭示网络演化的内在驱动因素。仅以无标度网络(scale-free networks)为例[141],已经报道的可以产生幂律度分布的机制就包括了富者愈富(rich-get-richer)机制[142],好者变富(good-get-richer)机制[143],优化设计(optimal design)驱动[144],哈密顿动力学(Hamiltonian dynamics)驱动[145],聚生(merging and regeneration)机制[146],稳定性限制(stability constraints)驱动[147],等等。可是,由于刻画网络结构特征的统计指标非常多,很难比较和判定什么样的机制能够更好再现真实网络的生长特性。利用链路预测有望建立简单的比较平台,能够在知道目标网络演化情况的基础上量化比较各种不同机制对于真实生长行为的预测能力,从而可以大大推动复杂网络演化机制的相关研究。Guimera 和Sales-Pardo 在提到网络重建(network reconstruction)的时候已经表达了相近的思想,但是这方面的研究尚未见报道。尽管有论文讨论了如何将链路预测的方法和思想与一些应用问题,例如部分标号网络的节点类型预测[148]与信息推荐问题[149],相联系的可能性与方法,但是,目前尚缺乏对于大规模真实数据在应用层面的深入分析和研究。这方面的研究不仅仅具有实用价值,而且有助于揭示链路预测这个问题本身存在的优势与局限性。
[1] A.-L. Barabási, [J] Nature 435, (2005) 207.
[2] J.G. Oliveira, A.-L. Barabási, [J] Nature 437, (2005) 1251.
[3] V. Plerou, P. Gopikrishnan, L. A. N. Amaral, X. Gabaix, and H. E. Stanley, [J] Phys. Rev. E 62, (2000) 3023(R).
[4] J. Masoliver, and M. Montero, [J] Phys. Rev. E 67, (2003) 021112.
[5] M. Politi, and E. Scalas, [J] Physica A 2008, 387 2025.
[6] Z. Q. Jiang, et al, Physica A, 387 (2008) 5818.
[7] Z. Dezső, E. Almaas1, A. Lukács, B. Rácz, I. Szakadát, and A.-L. Barabási, [J] Phys. Rev. E 73, (2006) 066132.
[8] B. Goncalves, and J. J. Ramasco, Phys. Rev. E 78, (2008) 026123.
[9] T. Zhou, H. A.-T. Kiet, B.J. Kim, and B.-H. Wang, [J] Europhys. Lett. 82, (2008) 28002.
[10] H. B. Hu, and D. Y. Han, [J] Physica A 387, (2008) 5916.
[11] J. Candia, M.C. González, P. Wang, T. Schoenhar, G. Madey and A.-L. Barabási, [J] J. Phys. A: Math. Theor. 41 (2008) 224015.
[12] T. Henderson, and S. Nhatti, Proc. 9th ACM Int. Conf. on Multimetia, pp. 212, ACM Press 2001.
[13] A. Grabowski, N. Kruszewska, and R. A. Kosiński, [J] Phys. Rev. E 78, (2008) 066110.
[14] S. K. Baek, T. Y. Kim, and B. J. Kim, [J] Physica A 387, (2008) 3660.
[15] K.-I. Goh, and A.-L. Barabási, [J] Europhys. Lett. 81, (2008) 48002.
[16] A. Vázquez, Phys. Rev. Lett. [J] 95, (2005) 248710.
[17] A. Vázquez, J. G. Oliveira, Z. Dezső, K.-I. Goh, I. Kondor, and A.-L. Barabási, [J] Phys. Rev. E 73, (2006) 036127.
[18] A. Gabrielli and G. Caldarelli, [J] Phys. Rev. Lett. 98, (2007) 208701.
[19] J.G. Oliveira, and A. Vázquez, [J] Physica A 388, (2009) 187.
[20] A. Vazquez, [J] Physica A 373 (2006) 747.
[21] A. Cesar, R. Hidalgo, [J] Physica A 369 (2006) 877.
[22] R. Dean Malmgren, Daniel B. Stouffer, A. E. Motter and L. A. N. Amaral, [J] Proc. Natl. Acad. Sci. USA 105, (2008) 18153.
[23] A. Vázquez, B. Rácz, A. Lukács, and A.-L. Barabási, [J] Phys. Rev. Lett. 98, (2007) 158702.
[24] D. Brockmann, L. Hufnagel, and T. Geisel, [J] Nature 439, (2006) 462.
[25] M. C. Gonzalez, C. A. Hidalgo, and A. -L. Barabasi, [J] Nature 453, (2008) 779.
[26] L. Rhee, M. Shin, S. Hong, K. Lee K, and S. Chong, On the Levy-walk nature of human mobility, Proc. 27th IEEE Conf. Comput. Commun (INFCOM, IEEE Press, 2008).
[27] F. Bartumeus, F. Peters, S.Pueyo, C. Marrase, and J. Catalan, [J] Proc. Natl. Acad. Sci. USA 100, (2003) 12771.
[28] G. Ramos-Fernandez, J. L. Mateos, O. Miramontes, G. Cocho, H. Larralde, and B. Ayala-Orozco, [J] Behav. Ecol. Sociobiol. 55, (2004) 223.
[29] D. W. Sims, E. J. Southall, N. E. Humphries, G. C. Hays, C. J. A. Bradshaw, J. W. Pitchford, A. James, M. Z. Ahmed, A. S. Brierley, M. A. Hindell, D. Morritt, M. K. Musyl, D. Righton, E. L. C. Shepard, V. J. Wearmouth, R. P. Wilson, M. J. Witt, and J. D. Metcalfe, [J] Nature 451, (2008) 1098.
[30] G. M. Viswanathan, S. V. Buldyrev, S. Havlin, M. G. E. da Luzk, E. P. Raposok, and H. E. Stanley, [J] Nature 401, (1999) 911.
[31] F. Bartumeus, J. Catalan, U. L. Fulco, M. L. Lyra, and G. M. Viswanathan, [J] Phys. Rev. Lett. 88, (2002) 097901.
[32] A. M. Reynolds, [J] Phys. Rev. E 72, (2005) 041928.
[33] M. C. Santos, D. Boyer, O. Miramontes, G. M. Viswanathan, E. P. Raposo, J. L. Mateos, and M. G. E. da Luz, [J] Phys. Rev. E 75, (2007) 061114.
[34] 周涛, 在线电影点播中的人类动力学模式, [J] 复杂系统与复杂性科学 5(1), (2008) 1.
[35] W.Hong, X.-P. Han, T. Zhou, and B.-H. Wang, [J] Chin. Phys. Lett. 26, (2009) 028902.
[36] 李楠楠,张宁,周涛, 人类通信模式中基于时间统计的实证研究, [J] 复杂系统与复杂性科学 5(3), (2008) 43.
[37] N.-N. Li, N. Zhang, Tao Zhou, [J] Physica A 387, (2008) 6391.
[38] 韩筱璞,周涛,汪秉宏, 基于自适应调节的人类动力学模型, [J] 复杂系统与复杂性科学 4(4), (2007) 1.
[39] X.-P. Han, T. Zhou, and B.-H. Wang, [J] New J. Phys., 10 (2008) 073010.
[40] 李楠楠,周涛,张宁, 人类动力学基本概念与实证分析, [J] 复杂系统与复杂性科学 5(2), (2008), 15.
[41] 郭进利,周涛,李季明,张宁,《人类动力学模型》,上海系统科学出版社,香港 2008.
[42] T. Zhou, X.-P. Han, B.-H. Wang, “Towards the understanding of human dynamics”, pp. 207-233 (M. Burguete and L. Lam eds., “Science Matters – Humanities as Complex Systems”, World Scientific Publishing, Singapore 2008).
[43] A. Vázquez, B. Rácz, A. Lukács, A.-L. Barabási, Impact of Non-Poissonian Activity Patterns on Spreading Processes, [J] Phys. Rev. Lett. 98, 158702 (2007).
[44] D. H. Zanette, Dynamics of rumor propagation on small-world networks, Phy. Rev. E 65, 041908(2002).
[45] M. Karsai, M. Kivelä, R. K. Pan, K. Kaski, J. Kertész, A.-L. Barabási, J. Saramäki,Small But Slow World: How Network Topology and Burstiness Slow Down Spreading
[46] Z. Yang, A. Cui, T. Zhou, Impact of Heterogeneous Human Activities on
Epidemic Spreading
[47] S. Ni, W. Weng, Impact of ttravel patterns on epidemic dynamics in heterogeneous spatial metapopulation networks, [J] Phys. Rev. E 79,016111(2009).
[48] L. Hufnagel, D. Brockmann, T. Geisel, Forecast and control of epidemics in a globalized world, [J] Proc. Natl. Acad. Sci. U.S.A. 101,15124(2004).
[49] V. Colizza, A. Barrat, M. Barthelemy, A. Vespignani, The role of the airline transportation network in the prediction and predictability of global epidemics, Proc. Natl. Acad. Sci. U.S.A. 103,2015(2006).
[50] R. Albert and A.-L. Barab¡äasi, Statistical mechanics of complex networks, [J] Rev. Mod. Phys. 74, 47-97 (2002).
[51] S. Boccaletti, V. Latora, Y. Moreno,M. Chavez, D.-U. Hwang, Complex networks: structure and dynamics, [J] Phys. Rep. 424, 175-308 (2006).
[52] H. Jeong, S.P. Mason, A.-L. Barabasi and Z.N. Oltvai, Lethality and centrality in protein networks¡±, [J] Nature 411, 41 (2001); SH. Jeong, B. Tomber, R. Albert, Z.N. Oltvai, and A.-L. Barabasi, The large-scale organization of metabolic networks¡±, [J] Nature 407, 651 (2000); A.-L. Barabasi, R. Albert, H. Jeong, and G. Bianconi, ¡±Power-Law Distribution of the World Wide Web¡±, [J] Science 287, 2115a (2000).
[53] D.J.Watts and S.H. Strogatz, Collective dynamics of small-world¡¯ networks, [J] Nature 393, 440 (1998).
[54] A.-L. Barab¡äasi and R. Albert, Emergence of scaling in random networks,
[55] J.W. Scannell, G.A.P.C. Burns, C.C. Hilgetag, M.A. O’Neil, and M.P. Young, The connectional organization of the cortico-thalamic system of the cat, [J] Cereb. Cortex 9 (1999) 277-299.
[56] O. Sporns, R. Chialvo, M. Kaiser and C.C. Hilgetag, Organization, development and function of complex brain networks. [J] Trends Cogn. Sci. 8, 418 (2004).
[57] A. E. Motter, M. A. Matias, J. Kurths and E. Ott(eds), Dynamics on Complex Networks and Applications [J] Phys. D 224 (1-2), 1-214 (2006).
[58] A.K. Engel, P. Fries and W. Singer, Dynamic predictions: oscillations and synchrony in top-down processing, [J] Nat. Rev. Neurosci 2, 705 (2001).
[59] P. Fries, Amechanismfor cognitive dynamics: neuronal communication through neuronal coherence, [J] Trends Cogn. Sci. 9, 474 (2005).
[60] A. Arenas, A. Diaz-Guilera, J. Kurths, Y. Moreno, and C.S. Zhou, Synchronization in complex networks (review article), [J] Physics Reports (in press).
[61] Hiroshi Kori and Alexander S. Mikhailov, Entrainment of randomly coupled oscillator networks by a pacemaker [J] Phys. Rev. Lett, Vol 93, 254101 (2004); Hiroshi Kori and Alexander S. Mikhailov, Strong effects of network architecture in the entrainment of coupled oscillator systems [J] Phys. Rev. E, Vol 74, 066115 (2006); Istvan Z. Kiss, Craig Rusin, Hiroshi Kori, John L. Hudson, Engineering Complex Dynamical Structures: Sequential Patterns and Desynchronization, [J] Science 316, 1886-1889 (2007)
[62] M. Barahona and L. M. Pecora, Synchronization in small-world systems, [J] Phys. Rev. Lett. 89 054101 (2002); T. Nishikawa, A.E. Motter, Y.-C. Lai, and F.C. Hoppensteadt, Heterogeneity in oscillator networks: are smaller world easier to synchronize?, [J] Phys. Rev. Lett. 91 , 014101 (2003).
[63] D.-U. Hwang, M. Chavez, A. Amann, and S. Boccaletti, Synchronization in Complex Networks with Age Ordering, [J] Phys. Rev. Lett. 94, 138701 (2005); M. Chavez, D.-U. Hwang,1 A. Amann, H. G. E. Hentschel, and S. Boccaletti, Synchronization is Enhanced in Weighted Complex Networks, [J] Phys. Rev. Lett. 94, 218701 (2005); M. Zhao, T. Zhou, B.H. Wang, and W.X. Wang, Enhanced synchronizability by structural perturbations, [J] Phys Rev. E., 72, 057102 (2005). Y. VF. Lu, M. Zhao, T. Zhou, and B. H. Wang, Enhance synchronizability via age-based coupling, [J] Phys. Rev. E 76, 057103 (2007).
[64] L. Donetti, P.I. Hurtado and M.A. Munoz, Entangled Networks, Synchronization, and Optimal Network Topology, [J] Phys. Rev. lett. 95, 188701 (2005).
[65] M.E.J. Newman, and M. Girvan, Finding and evaluating community structure in networks, [J] Phys. Rev. E. 69 (2004) 026113; G. Palla et al, Uncovering the overlapping community structure of complex networks in nature and society, [J] Nature 435 (2005) 814-818; L. Danon, A. Diaz-Aguilera, J. Duch and A. Arenas, Comparing community structure identification, [J] J. Stat. Mechs. P09008 (2005); I.J. Farkas1,, D. Abel1, G. Palla1, and T. Vicsek, Weighted network modules, [J] New. J. Phys. 9, 180 (2007).
[66] L. Huang, K.Park, Y.-C. Lai, L. Yang and K. Yang, Abnormal Synchronization in Complex Clustered Networks, [J] Phys. Rev. Lett. 97, 164101 (2006).
[67] J. Gomez-Gardebes, Y. Moreno, and A. Arenas,Synchronization Reveals Topological Scales in Complex Networks, [J] Phys. Rev. Lett. 98, 034101 (2007); J. Gomez-Gardebes, Yamir Moreno, and Alex Arenas, Synchronizability determined by coupling strengths and topology on complex networks, [J] Phys. Rev. E. 75, 066106 (2007): S. Boccaletti, M. Ivanchenko, V. Latora, A. Pluchino, and A. Rapisarda, Detecting complex network modularity by dynamical clustering, [J] Phys. Rev. E. 75, 045102 (2007); E. Oh, K. Rho, H. Hong, and B. Kahng, Modular synchronization in complex networks, [J] Phys. Rev. E 72, 047101 (2005); E. Oh, C. Choi, B. Kahng, and D. Kim, Modular synchronization in complex networks with a gauge Kuramoto model, [J] Europhys. Lett. 83, 68003 (2008).
[68] J. Gomez-Gardebes, Yamir Moreno, and Alex Arenas, Paths to Synchronization on Complex Networks, [J] Phys. Rev. Lett. 98, 034101 (2007).
[69] J. Ito and K. Kaneko, Spontaneous Structure Formation in a Network of Chaotic Units with Variable Connection Strengths, [J] Phys. Rev. Lett. 88, 028701 (2002); T. Gross, D.L.C Dommar, B. Blasius, Epidemic dynamics on an adaptive network. [J] Phys. Rev. Let, 96 , 208701 (2006); C.S. Zhou, J. Kurths, Dynamical weights and enhanced synchronization in adaptive complex networks. [J] Phys. Rev. Lett.96, 164102 (2006).
[70] O. Sporns, R. Chialvo, M. Kaiser and C.C. Hilgetag, Organization, development and function of complex brain networks. [J] Trends Cogn. Sci. 8, 418 (2004).
[71] D.S. Bassett and E. Bullmore, Small-world Brain Networks, [J] The Neuroscientist 12,521-523 (2006).
[72] E. Bullmore and O. Sporns, Complex brain networks: graph theoretical analysis of the structural and functional systems, [J] Nature Reviews (Neuroscience), 10, 186-198 (2009);
[73] O. Sporns and J.D. Zwi, The small world of the cerebral cortex, [J] Neuroinformatics 2, 145-162 (2004).
[74] M. Kaiser, and C.C Hilgetag, Edge vulnerability in neural and metabolic networks, [J] Biol Cybernetics 90, 311 - 317 (2004).
[75] C.J. Stam, Functional connectivity patterns of human magnetoencephalographic recordings: a small-world network? [J] Neurosci. Lett. 355 (2004) 25-28.
[76] C.J. Stam and E.A. de Bruin, Scale-free dynamics of global functional connectivity in the human brain, [J] Hum. Brain Mapp. 22 (2004) 97-109.
[77] R. Salvador, J. Suckling,M.R. Coleman, J.D. Pickard, D.Menon, and E. Bullmore, Neurophysiological architecture of functional magnetic resonance images of human brain, [J] Cereb. Cortex 15 (2005) 1332-1342.
[78] M.D. Fox, A.Z. Snyder, J.L. Vincent, M. Corbetta, D.C. Essen, and M.E. Raichle, [J] Proc. Natl. Acad. Sci. U.S.A. 102, 9673-9678 (2006).
[79] A.K. Engel, P. Fries and W. Singer, Dynamic predictions: oscillations and synchrony in topdown processing, [J] Nat. Rev. Neurosci 2, 705 (2001).
[80] T. Womelsdorf, J.M. Schoffelen, R. Oostenveld, W. Singer, R. Desimone, A.K. Engel, and P. Fries, Modulation of neuronal interactions through neuronal synchronization, [J] Science, 316, 1609 (2007); Y.B. Saalmann, I.N. Pigarev, and T.R. Vidyasagar, Science, 316, 1612 (2007); T.J. Buschman and E.K. Miller, Top-down versus bottom-up control of attention in the prefrontal and posterior parietal cortices, [J] Science 316, 1860 (2007).
[81] A. Arenas, A. Diaz-Guilera, J. Kurths, Y. Moreno, and C.S. Zhou, Synchronization in complex networks (review article), [J] Physics Reports (in press).
[82] Hiroshi Kori and Alexander S. Mikhailov, Entrainment of randomly coupled oscillator networks by a pacemaker, [J] Phys. Rev. Lett, Vol 93, 254101 (2004); Hiroshi Kori and Alexander S. Mikhailov, Strong effects of network architecture in the entrainment of coupled oscillator systems [J] Phys. Rev. E, Vol 74, 066115 (2006); Istvan Z. Kiss, Craig Rusin, Hiroshi Kori, John L. Hudson, Engineering Complex Dynamical Structures: Sequential Patterns and Desynchronization, [J] Science 316, 1886-1889 (2007)
[83] Zhang G.-Q., Zhang G.-Q., Yang Q.-F., et al., Evolution of the Internet and its cores. [J] New Journal of Physics, 2008, 10:123027
[84] Broder A., Kumar R., Moghoul F., et al., Graph structure in the Web. [J] Computer Networks, 2000, 33:309-320
[85] Adomavicius G., Tuzhilin A., Toward the next generation of recommender systems: A survey of the state-of-the-art and possible extensions. [J] IEEE Trans. on Knowledge and Data Engineering, 2005, 17(6): 734-749
[86] Resnick P., Varian H. R., Recommender Systems. [J] Communications of the ACM, 1997, 40(3): 56-58
[87] Herlocker J., Konstan J., Terveen L., et al., Evaluating Collaborative Filtering Recommender Systems. [J] ACM Trans. on Information Systems, 2004, 22:5-53
[88] Rich E., User Modeling via Stereotypes. [J] Cognitive Science, 1979, 3(4): 329-354
[89] Goldberg D., Nichols D., Oki B. M., et al., Using Collaborative Filtering to Weave an Information Tapestry. [J] Comm. ACM, 1992, 35(12): 61-70
[90] Konstan J. A., Miller B. N., Maltz D., et al., GroupLens: Applying Collaborative Filtering to Usenet News. [J] Comm. ACM, 1997, 40(3):77-87
[91] Shardanand U., Maes P., Social Information Filtering: Algorithms for Automating ‘Word of Mouth’. Proc. Human Factors in Computing Systems. Denver, 1995: 210-217
[92] Linden G., Smith B., York J., Amazon.com Recommendations: Item-to-Item Collaborative Filtering. [J] IEEE Internet Computing, 2003, 7(1):76-80
[93] Belkin N., Croft B., Information Filtering and Information Retrieval. [J] Comm. ACM, 1992, 35(12): 29-37
[94] Balabanovic M., Shoham Y., Fab: Content-Based, Collaborative Recommendation. [J] Comm. ACM, 1997, 40(3): 66-72
[95] Pazzani M., Billsus D., Learning and Revising User Profiles: The Identification of Interesting Web Sites. [J] Machine Learning, 1997, 27: 313-331
[96] Somlo G., Howe A., Adaptive Lightweight Text Filtering. [J] Proc. Lecture Notes in Computer Science, 2001, 2189: 319-329
[97] Zhang Y., Callan J., Minka T., Novelty and Redundancy Detection in Adaptive Filtering. Proc. 25th Ann. Int’l ACM SIGIR Conf., Tampere, 2002: 81-88
[98] Chang Y. I., Shen J. H., Chen T. I., A data mining-based method for the incremental update of supporting personalized information filtering. [J] Journal of information science and engineering, 2008, 24(1): 129-142
[99] Degemmis M., Lops P., Semeraro G., A content-collaborative recommender that exploits WordNet-based user profiles for neighborhood formation. [J] User modeling and user-adapted interaction, 2007, 17(3): 217-255
[100] 高滢, 齐红, 刘杰, 刘大有. 结合似然关系模型和用户等级的协同过滤推荐算法. [J] 计算机研究与发展,2007,44(6):1044~1052
[101] Yoshii K., Goto M., Komatani K., et al., An efficient hybrid music recommender system using an incrementally trainable probabilistic generative model. [J] IEEE Transactions on audio speech and language processing, 2008, 16(2): 435-447
[102] Girardi R., Marinho L. B., A domain model of Web recommender systems based on usage mining and collaborative filtering. [J] Requirements engineering, 2007, 12(1): 23-40
[103] Pazzani M., A Framework for Collaborative, Con4ent-Based,and Demographic Filtering. [J] Artificial Intelligence Rev., 1999,13(5-6): 393-408
[104] Billsus D.눬 Pazzani M., User Modeling for Adaptive News Access. [J] User Modelinc and Qser-Adapted Interaction, 2000, 10(2-3): 147-180
[105] Tran T., Cohen R., Hybrid Recommender Systems for Electronic Commerce. Proc. Knowledge-Based Electronic Markets, Menlo Park, 2000: 78-83
[106] Melville P., Mooney R. J., Nagarajan R. Content-Boosted Collaborative Filtering for Improved Recommendations. Proc. 18th Nat’l Conf. Artificial Intelligence, Edmonton, 2002: 187-192
[107] Aciar S., Zhang D., Simoff S., et al., Informed Recommender: Basing Recommendations on Consumer Product Reviews. [J] IEEE Intelligent systems, 2007, 22(3): 39-47
[108] L. Getoor, C. P. Diehl, Link Mining: A Survey, [J] ACM SIGKDD Explorations Newsletter 7 (2005) 3.
[109] H. Yu, et al., High-quality binary protein interaction map of the yeast interactome network, [J] Science 322 (2008) 104.
[110] M. P. H. Stumpf, T. Thorne, E. de Silva, R. Stewart, H. J. An, M. Lappe, C. Wiuf, Estimating the size of the human interactome, [J] Proc. Natl. Sci. Acad. U.S.A. 105 (2008) 6959.
[111] L. A. N. Amaral, A truer measure of our ignorance, [J] Proc. Natl. Sci. Acad. U.S.A. 105 (2008) 6795.
[112] L. Schafer, J. W. Graham, Missing data: Our view of the state of the art, [J] Psychol. Methods 7 (2002) 147.
[113] G. Kossinets, Effects of missing data in social networks, [J] Social Networks 28 (2006) 247.
[114] R. Kumar, J. Novak, A. Tomkins, Structure and evolution of online social networks, Proc. ACM SIGKDD 2006, ACM Press, New York, 2006, p. 611.
[115] B. Gallagher, H. Tong, T. Eliassi-Rad, C. Falousos, Using ghost edges for classification in sparselylabelednetworks, Proc. ACM SIGKDD 2008, ACM Press, New York, 2008, p. 256.
[116] K. Dasgupta, R. Singh, B. Viswanathan, D. Chakraborty, S. Mukherjea, A. A. Nanavati, A. Joshi, Social Ties and their Relevance to Churn in Mobile Telecom Networks, Proc. EDBT’08, ACM Press, New York, 2008, p. 668.
[117] R. Guimera, M. Sales-Pardo, Missing and spurious interactions and the reconstruction of complex networks, [J] Proc. Natl. Sci. Acad. U.S.A. 106 (2009) 22073.
[118] C. von Mering, R. Krause, B. Snel, M. Cornell, S. G. Oliver, S. Field, P. Bork, Comparative assessment of large-scale data sets of protein-protein interactions, [J] Nature 417 (2002) 399.
[119] R. Albert, A.-L. Barabasi, Statisrical Mechanics of Complex Networks, Rev. Mod. Phys. 74 (2002) 47.
[120] S. N. Dorogovtsev, J. F. F.Mendes, Evolution of networks, [J] Adv. Phys. 51 (2002) 1079.
[121] E. A. Leicht, P. Holme, M. E. J. Newman, Vertex similarity in networks, [J] Phys. Rev. E 73 (2006) 026120.
[122] Y. Pan, D.-H. Li, J.-G. Liu, J.-Z. Liang, Detecting community structure in complex networks via node similarity, [J] Physica A (to be published).
[123] F. Fouss, A. Pirotte, J.-M. Renders, M. Saerens, Random-walk computation of similarities between nodes of a graph with application to collaborative recommendation, [J] IEEE Trans. Knowl. Data. Eng. 19 (2007) 355.
[124] P. Chebotarev, E. Shamis, The matrix-forest theorem and measuring relations in small social groups, [J] Automat. Remote Contr. 58 (1997) 1505.
[125] D. Liben-Nowell, J. Kleinberg, The Link-Prediction Problem for Social Networks, [J] J. Am. Soc. Inform. Sci. Technol. 58 (2007) 1019.
[126] L. A. Adamic, E. Adar, Friends and neighbors on the web, [J] Social Networks 25 (2003) 211.
[127] T. Zhou, L. Lü, Y.-C. Zhang, Predicting missing links via local information, [J] Eur. Phys. J. B 71 (2009) 623.
[128] Y.-L. Wang, T. Zhou, J.-J. Shi, J. Wang, D.-R. He, Emipirical analysis of dependence between stations in Chinese railway network, [J] Physica A 388 (2009) 2949.
[129] L. Lü, C.-H. Jin, T. Zhou, Similarity index based on local paths for link prediction of complex networks, [J] Phys. Rev.E 80 (2009) 046122.
[130] L. Katz, A new status index derived from sociometric analysis, [J] Psychometrika 18 (1953) 39.
[131] W.-P. Liu, L. Lü, Link Prediction Based on Local Random Walk, [J] Europhys. Lett. (to be published).
[132] Z. Huang, X. Li, H. Chen, Link prediction approach to collaborative filtering, Proc. 5th ACM/IEEE-CS Joint Conf. Digital Libraries, ACM Press, New York, 2005.
[133] A. Clauset, C. Moore, M. E. J. Newman, Hierarchical structure and the prediction of missing links in networks, [J] Nature 453 (2008) 98.
[134] P. W. Holland, K. B. Laskey, S. Leinhard, Stochastic blockmodels: First steps, [J] Social Networks 5 (1983) 109.
[135] L. Lü, T. Zhou, Link Prediction in Weighted Networks: The Role of Weak Ties, [J] Europhys. Lett. 89 (2010) 18001.
[136] M. S. Granovetter, The strength of weak ties, [J] Am. J. Sociology 78 (1973) 1360.
[137] J. Leskovec, D. Huttenlocher, J. Kleinberg, Predicting Positive and Negative Links in Online Social Networks, Proc. WWW 2010, ACM, New York, 2010.
[138] T. Antal, P. Krapivsky, S. Redner, Dynamics of social balance on networks, [J] Phys. Rev. E 72 (2005) 036121.
[139] S. Marvel, S. Strogatz, J. Kleinberg, Energy landscape of social balance, [J] Phys. Rev. Lett. 103 (2009) 198701.
[140] A.-L. Barabasi, Scale-Free Networks: A Decade and Beyond, [J] Science 325 (2009) 412.
[141] G. Caldarelli, Scale-Free Networks: Complex webs in nature and technology, Oxford Press, New York, 2007.
[142] A.-L. Barabasi, R. Albert, Emergence of scaling in random networks, [J] Science 286 (1999) 509.
[143] D. Garlaschelli, A. Capocci, G. Caldarelli, Self-organized network evolution coupled to extremal dynamics, [J] Nat. Phys. 3 (2007) 813.
[144] S. Valverde, R. F. Cancho, R. V. Sole, Scale-free networks from optimal design, [J] Europhys. Lett. 60 (2002) 512.
[145] M. Baiesi, S. S. Manna, Scale-free networks from a Hamiltonian dynamics, [J] Phys. Rev. E 68 (2003) 047103.
[146] B. J. Kim, A. Trusina, P. Minnhagen, K. Sneppen, Self organized scale-free networks from merging and regeneration, [J] Eur. Phys. J. B 43 (2005) 369.
[147] J. I. Perotti, O. V. Billoni, F. A. Tamarit, D. R. Chialvo, S. A. Cannas, Emergent self-organized complex network topology out of stability constraints, [J] Phys. Rev. Lett. 103 (2009) 108701.
[148] P. Sen, G. Namata, M. Bilgic, L. Getoor, B. Gallagher, T. Eliassi-Rad, Collective classification in network data, [J] AI Magazine 29 (2008) 93.
[149] T. Zhou, Statistical Mechanics of Information Systems: Information Filtering on Complex Networks, Ph. D. Thesis, University of Fribourg, 2010.
Statistical Physics Research for Human Behaviors, Complex Networks, and Information Mining
Bing-Hong Wang 1), 2),*) , Tao Zhou3),*) , and Chang-Song Zhou4)
1)Institute of Theoretical Physics and Nonlinear Science Center, Department of Modern Physics, University of Science and Technology of China, Hefei, 230026
2)Complex System Science Center, University of Shanghai for Science and Technology, and Shanghai Academy for System Science, Shanghai, 200093
3)The Center of Web Science, University of Electro Science
and Technology of China, Chengdu, 610054
4)Department of Physics, Hong Kong Baptist University
*) Corresponding Author: bhwang@ustc.edu.cn,
zhutouster@gmail.com ; zhutou@ustc.edu ;
We are being in a great era for the big innovation of statistical physics. Many important complex systems ( including life, economy and social system; the Internet, the human behavior, the traffic flow in cities, the social relation network, and the cerebrum neural network etc. ) are waiting urgently for developing innovative research technique of statistical physics, and for new understanding and deep exploration based on the unifying method to carry on the real diagnosis statistics and the theoretical model analysis both.
Based on the massive real diagnosis statistics and analysis, unifying the effective dynamics model, focusing on the rule and characteristics of human behavior, the interaction among the social individuals, the dynamical evolution of the nervous system; the effective recommendation for information and the impactful forecasting of the network evolution; and so many other important questions, we suggest carry on the all directional statistical physics theoretical exploration for complex systems and the deep excavation of all kinds of basic mechanisms and the rules to determine the evolutionary process of the complex systems from the following three aspects: (1) the human behavior's statistical property; (2) the complex network synchronization and the complex neural network; and (3) the information mining and the complex network link forecasting.
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-8-31 18:16
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社