引用本文

卢经纬, 郭超, 戴星原, 缪青海, 王兴霞, 杨静, 王飞跃. 问答ChatGPT之后: 超大预训练模型的机遇和挑战. 自动化学报, 2023, 49(4): 705−717 doi: 10.16383/j.aas.c230107

Lu Jing-Wei, Guo Chao, Dai Xing-Yuan, Miao Qing-Hai, Wang Xing-Xia, Yang Jing, Wang Fei-Yue. The ChatGPT after: Opportunities and challenges of very large scale pre-trained models. Acta Automatica Sinica, 2023, 49(4): 705−717 doi: 10.16383/j.aas.c230107

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c230107

关键词

预训练模型，ChatGPT，Transformer ，人工智能生成内容，平行智能，社会化大闭环 

摘要

超大预训练模型(Pre-trained model, PTM)是人工智能领域近年来迅速崛起的研究方向, 在自然语言处理(Natural language processing, NLP)和计算机视觉等多种任务中达到了有史以来的最佳性能, 促进了人工智能生成内容(Artificial intelligence-generated content, AIGC)的发展和落地. ChatGPT作为当下最火热的PTM, 更是以优异的表现获得各界的广泛关注. 本文围绕ChatGPT展开. 首先概括PTM的基本思想并对其发展历程进行梳理; 接着, 详细探讨ChatGPT的技术细节, 并以平行智能的视角阐述ChatGPT; 最后, 从技术、范式以及应用等多个方面对PTM的发展趋势进行展望.

文章导读

2022年底, 一款名为ChatGPT (Chat generative pre-trained Transformer)的人工智能聊天程序引爆全球, 成为了各行业关注的焦点. ChatGPT火热之余, 不禁让众人思考: ChatGPT有何奥秘? “ChatGPT是一种基于人工智能的自然语言处理技术, 能够根据给定的问题和语境生成符合语言习惯和逻辑的回答. 这种技术可以应用于各种领域, 如客服、智能助手、教育、医疗等, 能够帮助人们更方便、高效地获取所需信息. 当前, ChatGPT在各个领域的应用越来越广泛, 因为它可以实现智能化、个性化、高效化的服务, 得到了广大用户的认可和喜爱. 随着技术的不断进步和完善, ChatGPT在处理语言难度、语境理解、知识获取和表达等方面都得到了不断的提升, 使得它在应用领域的效果和准确度都越来越好. 因此, 当下ChatGPT的火热现象主要是因为它能够提供高效便捷的智能服务, 并且在技术上不断突破和进步, 能够越来越好地满足人们的需求. 同时, 随着ChatGPT技术的发展, 它还将继续在各个领域发挥重要作用, 成为人们生活中不可或缺的一部分.”①就这一问题, ChatGPT自己如是说道. 由ChatGPT的回答, 我们不难发现ChatGPT的论述条理清晰、井然有序, 更难得的是符合大众日常的语言习惯, 这让该问题的答案不言而喻. ChatGPT的横空出世势必会给各行业带来巨大的冲击和挑战, 同时也意味着新机遇的诞生. 因此, 人们需对ChatGPT有全面且深刻的认识.

ChatGPT属于自然语言处理(Natural language processing, NLP)领域的超大预训练模型(Pre-trained model, PTM)[1-2], 这类超大PTM也称基石模型[3-4]、大模型[5-7]. 简单来说, 超大PTM旨在设计具有超大参数量的深度神经网络(Deep neural network, DNN), 在海量未标记的数据上对其进行训练. 利用超大参数量DNN强大的函数近似能力, 预训练可使超大PTM在这些海量数据上提取共性特征. 再根据下游任务, 对超大PTM进行微调或上下文学习, 使最终的模型可在具有一定相关度但不同的任务中获得优异的表现. 目前, 国内外众多科研机构、公司研发的超大PTM已在各领域取得了巨大的突破, 引领了新一轮的人工智能科技竞赛.

为进一步推进以ChatGPT为代表的超大PTM技术的发展和应用, 加速人工智能生成内容(Artificial intelligence-generated content, AIGC)落地, 本文首先梳理了超大PTM的经典模型, 并进行简要介绍. 其次, 详细地介绍ChatGPT中的关键技术 — Transformer, 探讨ChatGPT的设计与实现, 同时以平行智能的视角解读ChatGPT. 在综合分析ChatGPT和其他PTM的基础上, 我们进一步从技术、生态、范式以及应用等多个方面探讨超大PTM的发展趋势.

图 1  典型超大预训练模型的发展历程

图 2  ChatGPT的功能

图 3  ChatGPT采用的Transformer解码器结构

为促进PTM研究的进一步深入, 本文首先对PTM的发展进行简要梳理, 分别从语言PTM和多模态PTM进行介绍. 其次, 详细分析和探讨ChatGPT的设计和实现, 从RL切入分析ChatGPT, 并以平行智能的视角解读ChatGPT, 分析表明ChatGPT出色表现得益于其成功构建了社会化大闭环, 是Hanoi框架下PTM设计与实现的一次成功示范. 最后, 对PTM发展趋势进行展望.

就在本文录用不久前, OpenAI发布了多模态预训练大模型GPT-4, 除了像ChatGPT完成文本对话, GPT-4还能够进行更复杂的图像理解任务. GPT-4发布之后两天, 微软宣布将GPT-4整合进自家Office办公套件, 并推出人工智能助理Copilot (副驾驶员), 用户通过自然语言描述需求, Copilot即可完成相应功能, 例如在Word中起草文章草稿, 在PowerPoint中整合素材并制作美观的幻灯片, 在Excel中完成数据分析与图表生成. Copilot的发布将极大提高人类在知识创造方面的生产力.

尽管ChatGPT与GPT-4的成功让人们对人工智能的发展充满期待, 但我们仍然需要严谨、务实地对待ChatGPT及相关技术. 例如ChatGPT的技术仍不完美, 经常会一本正经地说些不着边际的话. 同时ChatGPT的出现也带来了许多问题, 例如: 算法偏见、著作权纠纷、行业垄断等等. 这些问题不能忽视, 应及时完善法律法规. 我们应在社会化大闭环中充分发挥积极作用, 促进人与社会和谐发展.

作者简介

卢经纬

青岛智能产业技术研究院副研究员. 2022年获得中国科学院大学计算机应用技术博士学位. 主要研究方向为最优控制, 自适应动态规划, 深度强化学习和自动驾驶. E-mail: lujingweihh@gmail.com

郭超

中国科学院自动化研究所复杂系统管理与控制国家重点实验室助理研究员. 主要研究方向为机器艺术创作, 智能机器人系统, 深度学习, 强化学习. E-mail: guochao2014@ia.ac.cn

戴星原

中国科学院自动化研究所复杂系统管理与控制国家重点实验室助理研究员. 2022年获得中国科学院大学控制理论与控制工程专业博士学位. 主要研究方向为人工智能, 强化学习, 智能交通系统. E-mail: xingyuan.dai@ia.ac.cn

缪青海

中国科学院大学人工智能学院副教授. 2007年获得中国科学院自动化研究所博士学位. 主要研究方向为智能系统, 机器学习, 计算机视觉. E-mail: miaoqh@ucas.ac.cn

王兴霞

中国科学院自动化研究所复杂系统管理与控制国家重点实验室博士研究生. 2021年获得南开大学工学硕士学位. 主要研究方向为平行控制, 平行油田和多智能体系统. E-mail: wangxingxia2022@ia.ac.cn

杨静

中国科学院自动化研究所复杂系统管理与控制国家重点实验室博士研究生. 2020年获得北京化工大学自动化学士学位. 主要研究方向为平行制造, 社会制造, 人工智能和社会物理信息系统. E-mail: yangjing2020@ia.ac.cn

王飞跃

中国科学院自动化研究所复杂系统管理与控制国家重点实验室研究员. 主要研究方向为智能系统, 复杂系统建模, 分析与控制. 本文通信作者. E-mail: feiyue.wang@ia.ac.cn