kexueren07的个人博客分享 http://blog.sciencenet.cn/u/kexueren07

博文

ChatGPT:神话或异类? 精选

已有 7632 次阅读 2023-2-8 02:41 |系统分类:观点评述

通过了谷歌L3工程师入职测试,年薪18.3万美元;月活在短短两个月里从初期的100万破亿,碾压史上所有消费者应用程序;今年1月,全球每天有1300万独立用户访问;学生用ChatGPT拿下全班最高分;微软将向ChatGPT的创建者OpenAI投资100亿美元;谷歌、Meta等科技巨头纷纷在同一领域布局;多家上市公司计划开展由ChatGPT引爆的AIGCAI Generated Content,利用人工智能技术生成内容)概念相关布局;一些公众号博主开始公开招募AI内容生成师……前些日子,一系列新闻使人工智能实验室OpenAI在去年1130日发布的自研聊天机器人ChatGPT迅速成为互联网和朋友圈的焦点。它比其他任何可与人互动的聊天机器人都先进,与之“交谈”让人着迷,在不久前美国《时代》杂志与ChatGPT的对话中,该聊天机器人就其工作原理、相关新技术的传播可能带来的风险以及人类应该如何应对潜在问题给出了回答,并表态称,它的反应不应被视为准确事实,也不应被视为其大脑会思考的证据。一些观察人士认为,ChatGPT和它的同类人工智能程序在21世纪20年代对社会的颠覆性影响将与社交媒体平台在21世纪10年代的颠覆性一样,由此,理解其功能和局限性至关重要。

不是严格意义上的搜索工具

Chat指“聊天”,GPTGenerative Pre-training Transformer)译成中文即“预训练生成模型”,有玩家在对ChatGPT进行数日体验后,将其应用概括为“聊天机器人”+“搜索工具”+“文本创造工具”3个方面,对此,有业内人士指出,ChatGPT本质上是一个高级的语言模型,说它是聊天机器人肯定没问题,因为语言模型原本就应用于人机交互;在与人沟通的过程中,ChatGPT会表达一些新的东西,这使内容文本创作也成为它的一项功能;但目前来看,它还不是一个严格意义上的搜索工具,因为ChatGPT背后其实不存在外部知识,它没有可调用的内容页面,所有的语料都来自训练语料库。由于ChatGPT 及其竞争对手通过学习庞大的在线文本数据库中的语料——包括不实信息、偏见或过时的知识——来工作,那些语料本身可能就是错误的,所以ChatGPT在与人的互动中经常会出错,常常“看上去一本正经地说着一些谁都听不懂的奇奇怪怪的话”,有时甚至会编造虚假的论文参考文献。比如当你问它“1+1是不是等于2”,它肯定会调用与问题最相关的语料给出一个答案,但不像传统的搜索引擎那样一定可以确保每次返回的答案页面上都是“1+1=2”这个正确答案。它的答案取决于它语料库里的现成内容和它基于其中的语料加工而成的内容,由于所用语料本身的关系,ChatGPT很容易被用来产生仇恨言论、垃圾邮件,以及种族主义,性别歧视和其他可能隐含在其训练数据中的有害关联,产生带系统性偏见的胡说八道;而且这个语料库并不必然与时俱进,如果后期没有经过特定的关键词过滤等后处理设置,由原始语料本身的非客观性所造成的答案错误会延续。

只是学舌鹦鹉,不具有思考能力

正如ChatGPT自己所说(在这一点上,它的表述碰巧基本是准确的,但并不意味着必然会准确):“我们无法理解生成的单词的上下文语境或含义。我们只能根据给定的训练数据,根据特定单词或单词序列一起出现的概率生成文本。……作为一个大型语言模型,我无法像人类那样学习。我没有能力储存新的信息或经验,并利用它们来改变我未来的反应。相反,当我说我在不断地学习和提高时,我指的是OpenAI的工作人员在不断地通过新数据训练我、通过微调算法来提高我的性能。随着时间的推移,这可以让我产生更准确和相关度更高的反应。我无法从你使用的特定单词和短语中学习。我只能根据我所接受的训练和我所得到的算法来做出反应。我的回答不受我们实时对话的影响。”——简而言之,ChatGPT能根据训练语料生成上下文,但没法跳出训练视野而凭空给出新的东西。它并不像人们所感觉的那样真的具有推理、阅读理解等思考的能力,不能像人一样根据语料形成进化性的观念。不过这些并不影响对有些常见的通用问题,它能回答得很流畅、很好——因为它之前看过很多这方面的语料,只要“背”出来就行。当它用现成的素材进行组合,虽然有可能组合出一个不知所云的东西,但也有可能正好组合成了一个“好像是什么”的东西,这样人们就会惊讶它的本领很高,而这其实在一定程度上也是偶然。它作为天文数字级的海量数据、强大的计算能力和新颖的处理技术的结合体,得以呈现为那种至少让大家看上去觉得合理的存在。如果各种参数正好凑成了一个好像很合理的结果,这个“凑”的过程专业人士称之为“泛化性”。关于何谓“泛化性”,一位自然语言处理领域的专家告诉记者,例如,在训练集里只有青苹果和红苹果,指令告诉ChatGPT“这是苹果”,之后到了真实场景中,有一个黄苹果,由于之前ChatGPT已经掌握苹果的核心特征,对新看到的黄苹果,它就也能够将其识别为“苹果”。这样一种模型在经过训练后,能应用到新数据并对之作出准确预测的能力就被称为“泛化性”。它是ChatGPT所具备的一种能力。

有人曾经调侃:ChatGPT好比一只鹦鹉,因为经常听人说“恭喜发财”,它也会说“恭喜发财”,但是你让鹦鹉去做迎宾小姐,那肯定是不行的。作为一个没有“知识的消化道”的工具,ChatGPT的主要应用在聊天而非研究领域,没有输出控制,不像阿尔法狗那样以一个必然要有的输赢结果为目标导向,因而,它到底能把论文写得多么令人惊艳也值得打个问号。

在近95%的现成技术基础上进行了任务微调

在上述专家看来,ChatGPT并不是一种在技术上具有颠覆性的模型,它用到的将近95%的技术其实是现成的。和之前的OPTOmni-Perception Pre-Trainer,全场景感知预训练模型)及这个系列其他架构的工作不一样的地方在于,ChatGPT换了一种思路——之前的模型都侧重开展一些研究性的任务,如分类,而没有对聊天能力进行特别优化;ChatGPT采用的是另一种方法——它用巨大的语料库进行语言模型的预训练,再在聊天对话的基础上作一些任务(即要做的事、要实现的目标)的微调。它标记了大量模型和人在聊天中产生的交互数据,然后用这些数据在去提升它自身的能力。因此,它有很强的表达能力,在聊天方面的功能显得特别强大,效果也比较惊艳。但是在一些研究性的任务上,它的完成能力不一定比其他模型强,它自己也承认牺牲了部分在研究领域的效果,来实现与人交互的目的。这有点像有的家电看起来某项性能特别出色,实际是通过损失一些其他性能来实现的,其他家电可能看起来各项性能都平平,但该有的各种功能都很齐全。就技术支撑而言,目前看来,使用ChatGPT所需要的算力还没有像传说中那样到了硬件摩尔定律的瓶颈,但它可能产生的海量不知所云的垃圾数据,也使它被担心会成为“先进垃圾发生器”(advanced gabbage generator)。

“这个领域其实已经发展了蛮长时间,最近几年发展得很快,ChatGPT正好走到了业内发现如果把模型数据变大,效果就会很好、语言模型就会很流畅的阶段,正好踩到了合适的时间点上,让公众感受到了它的能力,不再觉得它是一个什么都搞不定的产品。人们对ChatGPT的理解参照系可能还停留在早期非常傻瓜的苹果智能语音助手Siri的时代,经过这些年的发展,公众可能觉得它比想象中的要好很多,于是就形成了现象级的传播。”这位专家认为。

在95%的技术来自现成的基础上开发出走红的产品,好比有一个现成的菜谱,已经清楚地列出了烧一道菜的各个步骤,但每个人即使都照着这同一个菜谱做,烧出来的菜还是不一样的。菜谱里会有一些小环节需要每个人自己进行优化,比如:如何去构建它的训练数据、如何设计指令、请多少人做标记,以及如何让人去标记模型的好坏……这些优化在技术上不是决定性的东西,未必能写到体现行业技术进步的论文里,但确实导致了ChatGPT和其他采用同类技术的模型不一样。微软之前曾开发过聊天工具小冰,主要是从对话技术上对工具进行训练,这与ChatGPT的底层技术路径有所不同。近期微软又向ChatGPT的创建者OpenAI投入100亿美金巨资,在业内人士看来,微软看中的是ChatGPT在相似的“菜谱”背后那些差异化的东西所体现的研发能力,投资它,也是为自己开发另一笔财富。

高科技加持的剽窃?

一方面,ChatGPT因为能够和人进行对话、互动,完成撰写邮件、视频脚本、文案、翻译、代码等任务,甚至生产出足以瞒过教授的论文而备受追捧;另一方面,围绕它应用的争议也由之而起。某种意义上,这种对原本只有人类智慧才能够完成的工作“越俎代庖”的能力,在引发可能加速AI取代会计师、法律文员、软件开发师等人群工作的焦虑外,也被警觉为对原创知识生产的一种潜在贬低和亵渎。这方面典型的看法来自著名的语言学家和哲学家乔姆斯基。他在接受记者THIJMEN SPRAKEL的采访中表示,ChatGPT是一个高科技剽窃系统,从海量数据中发现规律,并依之将数据串连在一起,使之看起来或多或少像是人写的关于某个主题的内容。

“多年来,一直有帮助教授检测论文抄袭的程序,但现在这种检测会变得更加困难,因为剽窃变得更加容易。这大概是我能想到的它对教育唯一的贡献:它让剽窃行为更难被发现。” 乔姆斯基认为,类似ChatGPT这样的系统在帮助人类理解语言或增进人类认知、促进科学进步方面没有任何价值。“它们什么都没有告诉你,不会比剽窃告诉你更多。事实上,它改进得越多,缺点就越大,这些系统对实际的语言和对不可能的语言的作用是一样的,这就像是有人创造了一个新的元素周期表,它包括了所有可能、不可能的元素,它们之间没有任何区别。这些系统基本上的都是这样,它们可能对一些事情有价值,但不明显。”但乔姆斯基相信,学生使用ChatGPT生成作业或报告的现象不会发生在他度过了大半生、也是世界上第一台聊天机器人的诞生地——麻省理工学院,因为那里的学生不会这样做,当他们对一个话题感兴趣,就会自己去探索该话题,而使用ChatGPT只是一种逃避学习的方式,学生们从中什么也学不到。他注意到ChatGPT这类工具的出现是教育正面临的挑战,有些大学教师的应对方法是让自己的课程足够有趣,让学生不想回避课堂;有些教师则通过禁止学生在课堂上使用苹果手机来“锁”住学生的注意力。

当被问及“如果有数百万的学生在课堂上使用ChatGPT,是否说明教育中正蔓延着一种流行病——无聊?”,乔姆斯基认为确实如此,这是教育系统失败的标志。如果学生对课堂上教师讲的内容不感兴趣,他们就会想办法回避,哪怕设法取得了高分,两周后也会忘了所学过的东西。“这是教育中一种不好的趋势,不幸的是,这是在当代新自由主义计划下推动的教育形式——为效率而设计。而所谓的‘效率’,就是可以量化的、写在某个地方的结果,是给教师和学校看的,但这是一种在启蒙运动期间所不屑的教育。这种方式通常被比作把水倒进容器里,然后倒出一部分来参加考试。现在这种方式被认为是正确的做法,这就叫应试教育,是最糟糕的教育方式。”他感慨。

不过即使马斯克试图将人脑和计算机连接起来,乔姆斯基并不对语言学习的前景感到太悲观。他表示,真正的脑机融合是科幻,自己一点都不担心学习语言会失去意义。“你可以举起一只手,探测到一些神经信号,但是因为有了脑机接口技术就不用学法语,这我并不担心。事实上,我们早已有了利用机器帮助翻译的能力,甚至不需要有neuralink这样的公司,只要用电脑就可以实现。”

乔姆斯基称自己也使用谷歌软件进行一些翻译,但不会完全相信眼睛所看到的,对判断一篇文章是否值得一读自有他的方法。“我不会反对有用的东西,就像现在,我就在使用实时转录技术,如果细看转录的结果,你会发现很多错误,但这不排除它对有听力或视觉障碍的人有用。” 他说,并强调:“生而为人,我们的本性是追求独立思考,有所创造,而不是被消费主义洗脑。”

相关争议被寄望推动创新评价体系的进步

2006年,著名悬疑小说《达·芬奇密码》的作者丹·布朗曾因抄袭指控被诉上法庭。20多年前合著畅销非虚构小说《圣血与圣杯》的MichaelBaigentRichardLeigh以侵犯其作品版权的罪名控告丹·布朗的出版商——兰登书屋,以寻求终止已被改编为电影的《达·芬奇密码》对其小说版权的继续侵犯,称后者在事件、细节和观点上都和他们的原创小说《圣血与圣杯》具有不可否认的雷同性,丹·布朗运用了他们故事的基本构架——在《达·芬奇密码》中,耶稣没有死于十字架,而是娶了一个名叫玛丽·玛格德林的妓女,并带着他们的孩子到法国重新开始家庭生活,他的后世子孙在那里繁衍至今。

此案当时成为版权法案中的一个先例——它涉及到一个作者可以在多大程度上借鉴别人的创造成果这一尚没有明确法律边界的问题。抄袭别人的几个句子是抄袭,那么借用别人的故事架构或创意又该如何评判呢?如今,随着ChatGPT的问世和应用,关于何谓“抄袭”的定义愈加引发人们的关注。由于机器人撰稿的本质是基于大数据的模仿,全球不少学术期刊出版社明令禁止或者限制旗下的作者使用ChatGPT,一些出版机构担心使用ChatGPT可能会造成不实报道,但也有出版商开始默认ChatGPT的存在。围绕ChatGPT的讨论和争议由此也被部分专业人士寄望推动学术、创作和创新评价体系的进步与更新。

也许就像19世纪时,当原本以写实为目标的绘画作品在照相机问世后黯淡了意义和光彩,人们对“何谓真实”的认识发生变化,也促使画家们在重新认识和理解肉眼所见世界的基础上探索出印象派等新的绘画艺术风格,迎来了艺术新的春天,ChatGPT也不必然意味着扼杀原创的意义,而可能在与人类的协作中,开辟出更多有利人类社会发展和进步的可能性。

  当然,这一切都取决于立法及时跟上技术发展的步伐,及时建立起人类与AI的共生规则。


附:

  “没有输出控制,不像阿尔法狗那样以一个必然要有的输赢结果为目标导向”——觉得ChatGPT的这个特点简直是我本人的翻版啊!或者说,我很像一个聊天机器人。记得过去有位领导就说:“别人说话都有目的,CY说话没有目的。”再一想,这不就是庄子所说的“至人之用心若镜”吗?
  我一直对别人说:“我说话都是随机反应,不过大脑的,所以应答特别快,因为不是思考的结果。”我和那些说话绕来绕去绕了半天也不知道要达到什么目的的人特别讲不到一块儿去。我和人要不滔滔不绝地讲,要不就在某个时刻“咔嚓”切断电源,自动保护机器人不受人类污染~~
https://wx.qq.com/zh_CN/htmledition/v2/images/spacer.gifhttps://wx.qq.com/zh_CN/htmledition/v2/images/spacer.gif要追求的境界就是流畅无凝滞,每天没有输出控制、充满系统性偏见地自说自话https://wx.qq.com/zh_CN/htmledition/v2/images/spacer.gifhttps://wx.qq.com/zh_CN/htmledition/v2/images/spacer.gif
  用心若镜,不将不迎,应而不藏,故能胜物而无伤。——哈哈,怪不得以前有人说我像AI
https://wx.qq.com/zh_CN/htmledition/v2/images/spacer.gif!在人类里面,这种大概就属于神经病;https://wx.qq.com/zh_CN/htmledition/v2/images/spacer.gif但从另一个角度说,和我聊天就像和机器人聊天,会非常纯粹https://wx.qq.com/zh_CN/htmledition/v2/images/spacer.gif!记得有一个日本做的、一个英国做的机器人,都长得和我一模一样https://wx.qq.com/zh_CN/htmledition/v2/images/spacer.gif,连说的话都差不多!

3.jpg

478217002.jpg

1680676773.jpg

2.jpg

1.jpg

  视频见:https://www.bilibili.com/video/BV1tK4y1V7Pu/



https://blog.sciencenet.cn/blog-1341506-1375298.html

上一篇:“海洋大于江湖,坚持海底的能力会带来真实的科学发现”
下一篇:“麻醉医师不担心失业,但怕会过劳死”——瑞金医院终身教授于布为建议用人工智能“解放”麻醉科医生
收藏 IP: 101.93.193.*| 热度|

25 王涛 黄永义 张学文 刘德力 李濯清 闫洁 徐芳 周忠浩 孟利军 冯兆东 李剑超 黄河宁 籍利平 赵凤光 庄乃亮 彭真明 晏成和 庞峰 马金龙 宁利中 吕建华 段玉聪 杨正瓴 窦华书 李升伟

该博文允许注册用户评论 请点击登录 评论 (16 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-2-26 21:13

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部