Kara0807的个人博客分享 http://blog.sciencenet.cn/u/Kara0807

博文

"控制论之父"诺伯特·维纳: 关于自动化带来的一些道德与技术后果 精选

已有 7904 次阅读 2016-9-28 07:45 |个人分类:德先生|系统分类:科研笔记|关键词:维纳,,自动化,,机器人,AI,人工智能威胁论| 机器人, 维纳, 自动化, 人工智能威胁论

关于自动化带来的一些道德与技术后果


作者:Norbert Wiener

文章来源:Science

翻译:王晓   中科院自动化所

          高琳  青岛智能产业技术研究院



机器学习,它们以其程序设计员也自愧不如的速度发展出无法的策略。


大约在13年前,我出版了一本名为《控制论》的书。书中讨论了生物有机体和机器中控制通信相关的问题。当时,我对控制机器的发展及其相关的自动化技术进行了大量预测,测这些技术将对未来社会产生重要的影响后果。现在,13年过去了,似乎应该来盘点一下控制技术及其产生的社会后果当前的情况了

在开始讨论这些事情的细节之前,我要说一下街上一个普通人对控制论和自动化的一种态度。这种态度需对其进行批判性讨论,在我看来,它应被全盘否定。这种态度,就是假设机器不能拥有任何程度的创造力经常表现为这样一种声明机器只能根据事先被编入的内容产生其输出。这往往被理解是在宣称,人类制造的机器必然会持续受制于人,因此,机器的操作在任何时刻都能接收到人类干扰和政策的变化。在这种态度的基础上,很多人都对机器技术的危险性嗤之以鼻,他们断然反驳了塞缪尔·巴特勒早期对于机器会取代人类进行控制预言。

当然,塞缪尔·巴特勒那个时代的机器远不如今天的机器危险,因为那是的机器只涉及了动力,没有任何程度的思维和通信。然而,今天的机器技术已侵入思维和通信领域,所以巴特勒所持有的印象与今日之机器大不相同,我们不能把一代人之前视为公理的假设转移到这些新装置上。我发现自己面对一群这样的大众,其对机器所形成的态度是基于对现代机器之运作方式和结构的不全面理解。

我的观点机器能够肯定会超越们的设计者的某些局限性,并且机器实现时,他们可能即是高效的又是危险。很可能出现这种情况,原则上,我们并不能制造出我们永远都不了解其行为因素的机器。不意味着,我们能用比操作机器所需更少时间去理解机器的行为因素甚至用数年或几代的时间也不行

人们一般都认可,在一个限定的操作范围内,机器比人类的反应迅速很多在操作细节上的把控也更精确许多。这种情况下,即使机器无法以任何方式超越人类智,它们很可能比人类更出色的完成任务且可能会经常这么做一种对于自身任务完成模式的智能理解可能会发生延迟,一直到机器完成任务许久之后(才能收到反馈)

这意味着,尽管在理论上人类可对机器进行批评但实际上这些批评在很长时间之内或之后,都可能是无效的要有效地抵御灾难性的后果,我们对于我们所制造的机器的认知发展应该与机器的性能表现发展相匹配起来人类行动节奏缓慢,因此我们对于机器的有效控制很可能是作废的。等到我们对感知器官传达过来的信息作出反应并刹住我们正在驾驶的汽车,它可能已经一头扎进墙里了。


博弈

在本文后面,我将回过头来讨论这一点。现在,我想针对个非常具体目的讨论机器技术:博弈。在这个问题上我将特别讲述一种西洋跳棋游戏,美国国际商业机器(IBM)公司已针对这一游戏开发出非常有效的博弈

声明,我们此处并不关心那些运行一种完美且封闭的博弈理论的机器。冯诺依曼和摩根斯坦的博弈论也许能够暗示真实博弈机器的运行,但博弈论实际上无法描述机器(的运行)

在一场复杂的西洋跳棋游戏中,假设每个棋手都试图根据他的对手的最佳着法来选择自己的落子,他的对手则是根据他能给出的反击,而他的反击又依据于对手给出的最回应,那么不久之后,使自己陷入一项不可能完成的任务。这不仅是从人力上来说不可能的,而事实上根本没有理由假设这是对抗他所对的对手策略,而他的对手与他自己有着同样的局限性

冯诺依曼的博弈论理论与这一博弈器所运行理论并没有很密切的关系。后者更接近于受限的人类棋手专家与其他棋手对抗时所使用的方法。这些棋手依赖于特定的、本质上并不完整的战略评。而冯诺依曼类型的博弈理论适用于井字游戏这类有着完整理论系统,而事实上我们之所以对国际象棋和跳棋兴趣在于它们不具备一完整的理论。战争如此,商业竞争如此我们感兴趣的任何其他形式的竞争活动也都是如此

款井字游戏中只有少量的移动方法,其中每个玩家都能够算出所有的可能性,并要针对其他玩家的最佳可能动作,建立防御,在这儿冯诺依曼类型博弈一整套理论是有效的。在这样的情况下,游戏不可避免的会出现以下三种情况之一:第一个玩家取胜,第二个玩家取胜,或者平局。

我强烈怀疑这完美游戏观点能否在真实非平凡的游戏中完完全全真的发生。伟大的军事统帅拿破仑和优秀的舰队司令尼尔森会采取不同的策略方式。他们不仅意识到他们的敌人在军事物资和人等方面的局限性,同时也会评估自己在经验和军事技术方面局限性。这是通过对现实评估(实现):法国地面军队相对缺少经验的海上作业能力与英国皇家海军高度发达的战术与战略能力的对比,最终尼尔森得以彰显魄力指挥舰队将拿破仑的地面军队赶离了大海。若非尼尔森直接参与了这一漫长又曲折的过程,他不可能做到这点,并有可能错失他针对敌人的战略布局采取了最佳策略的命中注定之冲突。

在评(局限性)时,不仅要考虑敌方的军事物资和人才,还要考虑的判断能力以及可能会采取的战术及战略技巧,尼尔森照他们在以往战争中的统计记录行事。同样,拿破仑指挥与奥地利人在意大利的作战时,其中的一个重要因素便是他对维尔姆泽的刻板智力限制的了解

在任何现实的博弈理论中,经验应得到充分的认可。这对一个棋手来说完全是合情合理的,他不是在对抗一位理想不存在的、完美的敌手,而是在对抗一位他可以从(过往)记录中判断出对方习惯的棋手。因此,在博弈理论,至少必须进行两种不同类型的智力尝试。一种是针对单人博弈中的特定策略展开的短期智力尝试。另一种是基于对大量博弈的过往记录的查。这记录已被博弈者、他的对手甚至是他本人从未与之对抗过的玩家所创造。根据这项记录,他可以对已在过去被证明的不同策略的相对优势进行判断

在一个棋游戏中,甚至还需进行第三阶段的判断。这些经验记录至少是过去一段时间长度之内的国际象棋理论的发展降低了选择不同阶段最新博弈(策略)的重要性。另一方面,一个狡猾的象棋理论家可能预先估计当下流行的某一策略已几乎没有价值,可能最好的选择是采取一种博弈模式来对抗对手在策略上的变化。

因此,在确定国际象棋的策略有几个不同层次的考量,它在某种意义上对应着伯特兰·罗素所提出的不同逻辑类型。其中有战术层次、战略层次,在决定某一策略时所需权衡的一般考量层次,所需重视的“相关过去”—在这段过去的时间内(策略)是有效的—的时间长度层次,等等。每一新层次要求一个比之前的层次所需的更大的过去进行研究。

这些层次与罗素的逻辑类型类,类的类,类的类的类等概念—进行了比较能会注意到,罗素不认为那些包含了所有类型的声明是重要的。他提出,讨论类似于理发师只给那些不给自己刮胡子的人刮胡子这样的问题是无用的。他给自己刮胡子吗?在一种人员类型下他可以,在另一种类型下则不可以,颠倒往复,这是一种不确定的情况。所有这种包含了无限类型的问题,都可能导致无法解决的悖论。类似的,在多种复杂层次下研究最佳策略是徒劳的,而且必然会导致混乱。

这些考量不但发生于机器的策略决定过程也发生在人类的策略决定。这些都是在编程的编程中出现的问题。最低类型的博弈根据某一严格的评估方法进行博弈许多测度赢得或失去的棋子价值棋子的命令、棋子的移动性,等等,可以在一定经验基础上进行权重赋值,并在此基础上,针对每一种下一步可能的走法都给出一种符合博弈规则的加权方法最终可能会选择具有最大权重的博弈策略。在这种情况下,机器的下法在它的敌手这个人除了机器的下棋特点外没有其他选择看来似乎是非常的。


学习机器

机器下一步要考虑的不只是其在单一游戏中的动作还有其过往博弈的记录。在此基础上,机器可能会不时停止,不而是在考虑,怎样对它所给定的考虑因素进行加权(线性或非线性),才能最好地赢得比赛,而不是输掉比赛(或投降),在此基础上,它不断变换加权方式进行比赛。这样的机器它的人类看来,着非常灵活多变的博弈个性,早先可用于打败它的技巧现在可能无法欺骗它  

这些学习机器目前水平相当于能参加象棋的业余水准的比赛,但在跳棋中,经过10-20小时的训练和教化之后,它们将比程序化它们的玩家展示出更显著的优势。因此,们肯定是摆脱了它们的制造的完全有效控制。“严格”作为所有因素指令表可能是机器处于任一位置时都需考虑的因素它们无疑是有创造力的,即便和它们下棋的人也是这样说,不仅展现在它们往往不可预见的战术上同时也展现在它们战略评估的详细

正如我已经的,跳棋比赛机器的自我学习已经发展到可以打败程序设计员的程度。然而,它们,似乎一个弱点。这表现在游戏结束时。目前机器在决定给予对手致命一击的最佳方式时仍略显笨拙。这是由于现有的机器大多都是运行这样一种程序游戏的每个阶段都采取完全相同的策略。鉴于跳棋中每个棋子的价值相似对这一游戏的大部分过程来说很自然的情况是,当棋相对来说较空且主要问题是将棋子移动到一个位置而不是直接进行攻击时,但这与(游戏结束)的情况却非常不同。在我所描述的方法的框架内,可能产生再次的探索确定对手的棋子大幅减少时应该采取什么策以使这些新考虑成为重中之重

目前为止,国际象棋比赛机器还未达到跳棋机器的完善程度,尽管,正如我说的,它们肯定够进行一场相当不错的业余比赛。这样的原因与机器在跳棋游戏结束时表现出的相对高效非常类似。在国际象棋中,不仅是游戏结束时采取的适当策略与游戏中场非常不同,游戏开局也非常不同。在这方面,跳棋和国际象棋的区别是,跳棋一开始布局的玩法与进行到的布局没什么不同,而在国际象棋中,开局时棋子保持着异常缓慢的移动,此时对于棋子的部署是相当困难的。这就是开放式玩法和研发会成为国际象棋理论一个特殊分支的原因。

机器可通过多种不同的方式认识到那些知众所周知的事实,并为局探独立的等待策略。这并不意味着我在这里已经讨论博弈理论类型不适用于国际象棋,但只是说,在我们制造一台可以玩国际象棋大师的机器之前,还需要更多的考量。我的一些从事这方面研究的朋友相信,这一目标将在10至25年内实现。我并不是象棋方面的专家所以自己不会主动地冒险作出任何此类的预测。

很有可能学习机器将被用于编码按钮战争中下按动作此处我们考虑这样一个领域,该领域已对不是通过学习而获得的符号—括弧—进行了自动控制并投入使用要基于真正战争的实践经验这些机器进行编码是完全不可能。首先一个拥有足够的经验可进行适当编程的机器,可能视人类早已经被消灭了。

此外,按钮战争技术必然会带来大的变化,以致当机器积累了足够的经验,战争的初衷可能已发生根本性的改变。因此,对这类学习机的编程必须基于某种战争游戏,正如指挥官和职责人类似的方式学习战略艺术一些重要内容。然而,如果在一场战争游戏中胜利的规则不符合我们对自己国家的实际愿景,很可能这机器会产生一策略,以牺牲我们每个人都在乎的利益甚至是以国家存为代价赢得名义上胜利。


人与奴隶

儿要讨论的问题,是一个道德问题,我们所面临的境地与奴隶制度中的一个非常伟大的问题很类似我们承认奴隶制度之所以很糟糕因为它残忍。然而,由于一个完全不同的原因,它又是自相矛盾的。我们希望一个奴隶聪明,能够协助我们执行任务。然而,我们也希望他顺从完全的顺从和完全的聪明是不会同时出现的。在古代,有多少次会发生更聪明的希腊哲学家受到一个不太聪明的罗马奴隶主的奴役而这些哲学家们必须受主人的行动主导服从自己的意愿的情况类似的,如果机器运行效率越来越高,且心智水平越来越高,那么,巴特勒所预见的机器主导所带来的灾难就离人类越来越近了。

当我们触及逻辑的更高领域时,人类的大脑是一个比智能机有效的控制设备。这是一个自组织系统,它依赖的是将自身调整为一台新机器的能力而非是解决问题的精度和速度能力。我们已经成功制造出了具有“严格”策略的低逻辑类型的机器。我们现在开始制造第二种逻辑类型的机器,它可通过学习提升自己的策略。在构建可运行的机器的过程中,并没有关于逻辑类型的具体并且预见限制,发表一个关于大脑在哪些确切水平上比机器更智能的声明也不安全。然而至少长期看来至少某些水平上大脑总是会比构建的机器更具有优势,尽管这一水平线可能会逐渐上移

可以看出,自动化编程技术的机器可在什么阶段达成其特定结论,以及机器的众多操作所包含的可能的真实战术意图,等等的有效理解,从设计师和操作者头脑中转移出来。这对于我们能够预见游戏策略框架之外的不受欢迎的后果大有关系,机器仍在运转而我们的干涉能够阻止这些后果的发生

在这里有必要认识到,人类的行动是一个反馈行动。为了避免灾难性的后果,仅有我们的一些行动是不足以改变机器的进程的,因为很有可能我们缺乏采取行动所依据的相关信息。

在神经生理学的语言中,运动失调可被视为与瘫痪一样是一种(对运动能力的)剥夺。一个有自发性运动失调的患者可能不必再忍受来自于他的肌肉或运动神经的任何缺陷,但如果他的肌肉、肌腱和器官无法确切地传达他在什么位置,以及他的器官遭受到的张力是否会导致他的摔倒,他无法站立。类似地,当一个由我们制造的机器能够以我们无法跟进的速度处理它的输入数据在为时已晚之前,我们可能不知道何时应该将它关闭。我们都知道《魔法师的学徒》那则寓言,当他的老师不在时,学徒用咒语命令扫把提水,以致于差点在他的老师再次出现之前将自己淹死。如果学徒必须从他老师的图书馆寻找那本包含能停止这场恶作剧的咒语的魔法书,那他可能在找到相关咒语之前已经淹死了。同样的,如果一个瓶厂被编程为在最大生产力的基础上运行,那么在厂主知道他应该在6个月前就停止生产很可能已经被制造出的滞销瓶子的巨大库存弄破产了

《魔法师的学徒》是众多假设魔法机构是平淡无奇的寓言故事的一个。在《一千零一夜》中有一篇关于魔鬼和渔夫的故事,渔夫解除了所罗门对魔鬼的囚禁和封印,却发现魔鬼发誓要将渔夫杀死;还有雅各布斯的《猴爪》的故事,有一个军士长从印度带回来一个法宝,它可以实现三个人的三个愿望。我们被告知,第一个使用这个法宝的人的第三个愿望是死亡。这位军士长也就是第二个可以许下愿望的人,他的经历太过可怕以致无法讲述军士长的朋友,抢下了这法宝愿得到200英镑。之后不久,这个许愿人的儿子所在工厂的一名负责人来到他家告诉他,他的儿子机器事故中遇难工厂不承担任何责任但愿意为他家人提供正好200英镑的慰问金。他下的第二个愿望是让他的儿子回来,结果是一个幽灵敲响了他的家门。他的第三个愿望是幽灵离开。

灾难性后果不仅是在童话世界中是可预料的,而且在会发生在现实世界特别是当本质上毫无关联的两个机构为了实现一个共同的目耦合在一起时。如果对于这一目标性质而言,两个机构间的通信是不完备的,那么肯定可以预料到的是,合作的结果会不尽人意。如果为了实现我们的目标,我们使用一种这样的机械机构:一旦启动就无法对机器操作进行有效干预而且由于机器的运转是如此之快且不可撤销,以致于在机器完成其动作之前我们没有数据来介入它的运行那么最好确定,我们输入机器的目的就是我们真正渴望的目的,而不对这一目的的一个多彩的模仿。

时间尺度

到目前为止,我一直都在考虑一家联合企业中机器人类协同进行工作所造成的准道德问题。我们已经看到,在使用学习机器时,引发灾难性后果的危险的主要原因之一,就是人和机器在两个不同的时间尺度上运行,机器比人快得多,两者没有历经严重的困难就啮合在一起了同样的问题也会出现在当两个不同时间尺度的控制操作符合作时的情况无论哪一个系统更快,哪个系统慢。这给我们带来了更直接的道德问题:当人类作为个体与一个有着更为缓慢的时间尺度的控制过程(如政治史的一部分或者我们主要的探究对象科学的发展)进行操作时,这其中的道德问题是什么

值得注意的是从长期的理解和控制的角度来看,科学的发展是一个与控制和通信相关的过程。在这过程中,50年就像是个体生中的一天。为此,个体科学家需要作为这个过程的一部分,这一过程的时间尺度如此之长以至于他自己只能关注其中一个非常有限的领域。在这里,一个双机的两个部分之间的通信是困难有限的。即便一个个体认为科学有助于实现其内心人类目的,他的信念也需要一个持续扫描和再次评估,部分可能的。对于个体科学家而言即便是人类与科学进程之间的联络的局部评估,也要求对历史充满想象力的往前看,尽管这是困难的、苛求的并且只能有限的实现。如果我们简单地坚持科学家的信条,即世界和我们自身不完备的知识总好过无知,我们就不会总是天真的假设,我们越是急于运用对我们开放的新力量,情况会愈加美好。我们必须一直发挥我们全部的想象力,以审视我们对于形式的完全利用将引领我们要到达的地方。  






http://blog.sciencenet.cn/blog-951291-1005476.html

上一篇:[转载]智能技术—自动化的发展和未来
下一篇:[转载]《决策知识自动化》-第一章:知识的价值(一)

10 彭思龙 陈波 黄永义 黄仁勇 徐令予 史晓雷 谢勤 闫钟峰 shenlu zjzhaokeqin

该博文允许注册用户评论 请点击登录 评论 (10 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备14006957 )

GMT+8, 2019-8-25 02:41

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部