何毓琦的个人博客分享 http://blog.sciencenet.cn/u/何毓琦 哈佛(1961-2001) 清华(2001-date)

博文

教育与科研随笔(三)

已有 4927 次阅读 2008-4-29 16:02 |系统分类:海外观察

(For new reader and those who request 好友请求, please read my 公告栏 first).

这是我过去一年用英文写的”Research and Education”十篇文章.現在科学网已经全部翻譯好了. 所以在网上再發表一次. 使喜欢读中文的网友方便一些

言传身教
 
 
我非常感谢大家对我前面两篇博文《如何做科研?——博士生培养的相关问题》和《如何做科研(二)——回答一些读者反馈》给与的反馈。在一周时间内,有超过1500人读过那两篇文章。尽管要冒着自吹自擂的风险,我还是想在这里言传身教一番,以我本人为例,给大家好好讲讲我提出的那个关于“科研选题”的建议。为了方便起见,在此我要重复一下那个建议:
 
“去找一个人们渴望解决的实际问题,而这个问题又是你很感兴趣的,但不太了解的。全身心地投入进去,试图解决这个问题,但不限于使用你熟悉的现有工具。”(不过你必须把这条建议结合原文的上下文来理解。)
 
一、实际问题
 
随着人类文明不断进步,人们创造出了很多复杂的人造系统,比如大规模电网、空中与地面交通控制系统、制造业工厂及供应链、互联网和其它通信网络等等。这些系统按照人类制定的规则发展运作着,其动态过程很难用诸如描述物理系统所用的微分方程等简洁的数学模型来描述。这些系统统称为离散事件动态系统(Discrete Event Dynamic Systems,简称DEDS)。事实上,唯一能忠实地描述上述复杂系统的方法就是借助电子设备的“克隆”来呈现,即用仿真模型或程序按实际时间或仿真时间来复制实际系统的行为。这样一来,对这类系统进行性能评价只需要运行仿真模型,而不必在实际系统上做实验了。举一个大家熟悉的例子吧,比如北京首都国际机场,在地面上有行人、出租车、公共汽车还有私家车。在空中有军用飞机、商业飞机还有私人飞机。所有这些实体都是随机地抵达机场,有的是由于受到天气或设备故障导致的随机扰动。他们都需要机场设施所提供的一系列服务,并为此展开竞争。对一位驱车来到机场的旅客,她或他需要停车位,安置行李,换登机牌,接受安全检查,还需要休息、吃饭和等候的地方。显而易见,这样一个系统只能借助仿真模型来精确建模。而且即使只模拟和试验一段时间如24小时内该系统的状况,也会耗去计算机大量的时间。一般说来,对这类系统的性能进行一次评价动辄需要计算机运算少则数小时、多则数天的时间。这还不算,其他一些更基本的数学上的限制让问题更加复杂。
 
众所周知,即便是在最好的条件下,随着用于估计的样本数量增加,估计的精确度也只会非常缓慢地提高。精确度每提高一个数量级,估计所需的样本数量就必须增大两个数量级。因为估计复杂系统性能所用的每个样本均需通过仿真获得,而每次运行复杂系统的仿真模型都要耗费相当长的时间,所以为了达到精确的性能估计而多次运行仿真模型对计算机来讲将会是一个沉重的负担。进一步讲,如果按这种思路来优化设计系统参数,那么所需的计算量随系统规模增加很快将大到在实际中不可行。所以,仿真模型常常用来验证通过其它方法得出的设计方案,而很少用于优化方案。
 
更糟糕的是,虽然关于优化与决策的文献数量巨大,但是很多成形的理论结果都是关于被我们称为基于实数变量的方法的。基于局部信息不断改进从而逐步逼近最优解(比如说最小值)的想法常常被比喻成“雾中高山滑雪”。梯度(斜坡)、曲率(山谷)、还有最速下降轨道(即直接下滑线)等概念都需要用到导数的概念,而且要求必须存在一个较为光滑的响应表面。目前已有多种基于一阶和二阶导数的常规算法,可用于确定可行方向,据此可迭代确定任意一个多维响应表面(或性能表面)上的最优点(比如最小值点)。鉴于在此研究领域已经有大量成功实例存在,其中线性规划还曾经获得诺贝尔奖,这里我就没必要重复或是引述这些了。
 
另一方面,尽管优化和计算科学有了巨大的发展,仍旧有很多难题是我们力不能及的。这其中就包括组合优化中的NP难题,以及著名的动态规划中的“维数灾”。指数增长是一个数学和计算机所无法克服的困难。此外,求解问题所需的计算量未必是由问题规模引起的,问题的复杂性,比如人造系统的仿真模型,也会导致计算量庞大到超出计算机实际计算能力的程度。
 
我在这里总结一下,复杂系统的优化存在以下主要困难:
 
系统的复杂性
计算强度
缺乏现存相关文献
基本的数学上的限制
 
二、解决方法
 
序优化(Ordinal Optimization)方法有如下两个基本思想:
 
                         i.              受噪声干扰时“序”比“值”更容易确定。也就是说,确定“哪个更好”要比确定“好多少”容易得多。
                       ii.              不要总想找到最好的解,而要愿意接受满意解。记住这句谚语,“最好是满意的敌人”。
 
版面所限,我就不再通过形象直观的方法来进一步阐述这些简单的道理了。在下文的第三部分里有详细的介绍。我的中心意思是,为了推进问题的解决,我们需要稍稍降低要求。
 
   诚然,也许读者会指出这些想法并不新颖而且很简单,他们说得很对。优秀的工程师和设计师在评价和优化中遇到复杂的困难问题时,一直就是这样做的。我的贡献只是发展出一种可以量化以上两种思想的理论。现在,对上面两种思想的实践就是基于知识而非经验的了。只要运用序优化方法提供的工具,任何人都可以获得过去只有优秀的设计师从大量实践中才能获得的专业经验。此外,用户可以用数值量化所得结果的好坏而不是仅仅凭直觉办事。
 
三、应用举例
 
   现在已有250多篇关于序优化的参考资料,大家可以在cfins.au.tsinghua.edu.cn上找到经过注释的文献列表。但我最喜欢的例子是在1991年那个阴雨连绵的下午促使我发现序优化方法的那个,到现在我仍然用它来展示这两个基本思想,你可以在十五分钟内用EXCEL构造出这个例子,也可以在我的个人网站www.hrl.harvard.edu/~ho上下载。2007年9月,我同清华大学同事合写的一本全面阐述序优化方法的著作将由Springer出版发行。
 
四、序优化的方法论及其与其它工具的关系
 
从最广义上来说,所谓优化就是不断追求进步,人类的历史有多长,这种思想的历史就有多长。实际上,这可以说是人类文明“存在的理由”。一旦没有了提高和改进的欲望,各个领域中的进步都将会停滞不前。然而一直到人类发明了微积分,优化才开始被当作一门学科来研究,而不再是为解决特定问题付出的个别努力,因为人们可以运用微积分对大量的物理现象进行数学建模。极大极小值理论和凸性概念随之出现。然而直到计算机技术发展起来以前,单靠数学能明确地加以解决的现实问题仍然相当有限。在计算机出现之前,求解很多困难的优化问题所需的数值和迭代算法被认为是不可行的,计算机一出现,这些算法就变得可行了。20世纪50年代,优化研究领域进入了黄金时代,并一直持续到今天。另一方面,尽管优化和计算科学有了巨大的发展,仍旧有很多难题是我们力不能及的。这其中就包括组合优化中的NP难题,以及著名的动态规划中的“维数灾”。指数增长是一个数学和计算机所无法克服的困难。此外,求解问题所需的计算量未必是由问题规模引起的,问题的复杂性,比如人造系统的仿真模型,也会导致计算量庞大到超出计算机实际计算能力的程度。
 
此外,我们必须承认很多现实生活中的优化问题尚未解决,部分原因是由于问题中变量的定义域与传统优化问题相比也在不断地发展变化,因此不方便使用微积分或是基于实数变量的种种方法。举例来说,上面提到的大量人造系统中的优化问题都会涉及到组合变量、符号变量或分类变量而不是实分析,离散变量而不是连续变量,综合配置而不是配比参数设计。对于这些问题的优化看起来需要对系统的整体性能曲面或是响应表面进行全面搜索,而不是那种“雾中高山滑雪”式的基于实数变量的性能优化方法。同时,技术方面也需要大大提高。受限于早期计算机的有限内存和集中式控制方法,过去一般使用串行算法。随着现代大规模并行机的诞生,分布式并行程序和基于搜索的性能评估方法现在可以完美地结合在一起了。序优化的目的就是要解决上述优化问题的困难,即基于仿真模型或是其它涉及潜在随机性和离散变量、需要密集计算的模型来对复杂系统进行优化。
 
五、结论
 
当然,从本文的第一到第四部分来看,我好像是事后诸葛亮。当我在1991年那个阴雨连绵的下午开始思考这些问题,并在1992年发表第一篇论文时,我那时候肯定没有预见到这些思想。不过我当时知道序优化的基本思想可用于处理大多数实际问题面临的困难,而且在克服一些先前认为不可行的大计算量的困难方面也取得了一定的成功。我对向大家推荐的科研方法很有信心,而且当时我已经有了三十年的经验,所以我就开始申请基金资助,指导研究生和博士后在这个科研方向努力,我本人也在后来长达15年的时间里致力于序优化研究。这就是科学家们常说的开山鼻祖式的研究课题(或者是我在《如何做科研?——博士生培养的相关问题》一文中提到的第二等的研究课题。)
 
(于乃森译 何姣校 清华大学自动化系贾庆山博士亦对本文的翻译有贡献)
 
 
评论内容
 
[5]发表评论人:小水獭[ 2007121118时53分11秒]
序优化对我来说看起来好像一个深奥的哲学问题,呵呵,但是我觉得它有助于我思考问题。
 
[4] 标题:回复[游客]Jlina
发表评论人:[注册用户]何毓琦 [2007-6-11 17:43:26]
 
请你看给[游客]caobinyong below的回复,你应该与CFINS那里的教授联系。我每年只回中国一次。
 
[3] 标题:谢谢
发表评论人:[游客]Jlina [2007-6-11 15:52:22]
 
亲爱的何教授:
在您的博客里结识您我感到非常高兴,非常感谢您对科研的敏锐洞察力。我非常喜欢,谢谢您!
我是云南师范大学的教师,我从事于电力输送的研究,目前正准备大型电力系统的报考。对我来说这非常困难,您能给我提供一些相关信息吗?谢谢!
 
[2] 标题:reply to:[游客]caobinyong
发表评论人:[游客]何毓琦 [2007-6-5 19:56:43]
 
据我所知,贾教授等人已经将序优化应用到电力系统,你可以咨询他们相关内容。联系方式是: cfins.au@tsinghua.edu.cn 
 
[1] 标题:Ordinal Optimization
发表评论人:[游客]caobinyong [2007-6-5 15:27:11]
 
 亲爱的何教授:
“看似简单的优化在解决现实问题时更有力”,之前我只是久仰您的大名。阅读您的博客后,我才明白怪不得您是世界有名的教授。
我们都知道电力系统是人造的庞大系统之一,控制这样一个系统是一个非常大的挑战。电网连锁故障就将它这一特性很好的呈现出来。CIN系列智能网系统也许会成为里程碑。但是,您有涵盖了广泛的领域研究成果和基于次项目的数百篇论文,您为这个课题领军人物,能给我们简单介绍一下如何取得重要的突破和相关的感受吗?



http://blog.sciencenet.cn/blog-1565-23441.html

上一篇:教育与科研随笔(二)
下一篇:教育与科研随笔(四)

2 fuyuan1986 vinchou

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2021-1-18 19:27

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部