「AI哲学」让人类“为自身立命”与“为AI立心”。

ChatGPT是OpenAI发布的聊天机器人模型，一款人工智能技术驱动的自然语言处理工具，也是AI大模型的典型代表，于2022年11月30日发布，2个月后月活跃用户数破1亿，成为史上用户数增长最快的消费者应用。2023年3月14日，Open AI发布GPT-4。GPT-4是多模态大模型，即支持图像和文本的输入输出。GPT-4展现了强大的智能，比如在律师资格考试的成绩在考生中排名前10％左右。麦肯锡因此发布生成式AI报告，预测2030年AI可达人类水平。世界各国政府因此加紧颁布政策，生怕错过这次AI大潮，如下图所示。

图5-1  世界各国发布AI相关政策，紧跟技术潮流

ChatGPT是一个大型语言模型（LLM：Large Language Model），能够根据给定的文本或问题，生成连贯、有意义的回答或文本。它的“Chat”部分表示它可以用于对话式应用，比如智能客服、智能助手等。而“GPT”则代表“生成式预训练模型”，表明它是一种预先训练的模型，能够学习大量的自然语言文本，从而能够生成类似于人类写作的语言。ChatGPT能够通过学习和理解人类的语言来进行对话，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流，甚至能完成撰写邮件、视频脚本、文案、翻译、代码等任务，如下图所示（实际上，ChatGPT可以帮你做的远远不止42件事，将像水电气那样成为你日常生活的基础工具和设施）。

图5-2  ChatGPT可以帮你做的N件事（实际远远不止42件事）

5.1.1  AI生产内容（AIGC）

因此，ChatGPT属于生产力工具，可以生成内容。如下图所示，从历史脉络上，内容生产生态的发展经历了专家生产内容（Professional Generated Content，PGC，如电影、电视、游戏）、用户生成内容（User-Generated Content，UGC，如短视频、社交媒体文章）、AI辅助生产内容、AI生产内容（AIGC）四个阶段，目前处于一、二阶段为主，第三阶段为辅的境况。以ChatGPT为代表的AIGC克服PGC与UGC存在的质量、产量无法兼具的缺点，其有望成为未来主流的内容生产模式。

图5-3  内容生产模式经历的四个发展阶段（图片来源：国泰君安）

下图展示了AIGC（人工智能生成内容）的历史发展过程。

图5-4  AIGC（人工智能生成内容）的历史发展过程（图片来源：国泰君安）

5.1.2  GPT的“大力出奇迹”：只有大规模才能涌现出智能

我们接着介绍ChatGPT技术的诞生过程，起点源于谷歌于2017年发表的Transfomer技术，如下图所示。其中，GPT-3有96个Transformer层，包含大约1750亿个参数；到了GPT-4，则包含大约1.8万亿个参数，大约使用了数十TB的数据、包括约13万亿个token进行训练；而到了GPT-5，则包含大约325万亿个参数，大约使用了约70万亿个token进行训练。

图5-5  GPT技术发展及ChatGPT的诞生（图片来源：Choice数据）

ChatGPT大模型本质上是一个深度神经网络：网络的维度越高，语义表示越好；网络层次越深，预测能力越强；参数规模越大，模型容量越高。

大模型还有一个特点是能力涌现：某种能力（比如推理能力）可能在较小的模型中不存在，但随着模型参数规模的增大，会突然拥有，即“涌现”。研究发现，在100亿到1000亿参数区间产生能力涌现。

图5-6  随着参数规模的增大，大模型出现能力的突然涌现（图片来源：36kr）

5.1.3  GPT（生成式预训练转换器/大模型）的组成与流程

GPT（Generative Pre-trained Transformer）是一种基于Transformer（转换器）架构的生成式自然语言处理（NLP）模型。GPT的原理主要涉及以下三个方面：

生成式（Generative）

生成式表示该模型能够生成连续的、有逻辑的文本内容，比如完成对话、创作故事、编写代码或者写诗写歌等。生成式模型的目标是学习数据的概率分布，从而能够生成类似于训练数据的新数据。在GPT的情况下，模型学习了大量文本数据的概率分布，从而能够生成符合自然语言规律的文本。生成式（Generative）模型是源头导向，通过学习数据的概率分布规律（学习到其内在的规律和结构），关注数据是如何生成的；而作为对比，判别式（Discriminative）模型是结果导向，并不关心样本数据是怎么生成的，它只关心样本之间的差别，然后用差别来简单对给定的一个样本进行分类/判别。

扩展：生成对抗网络（Generative Adversarial Network，GAN）是一种通过两个神经网络相互博弈的方式进行学习的生成模型。生成对抗网络由一个生成器和一个判别器组成。生成器尽量模仿训练集中的真实样本。判别器将生成器的输出从真实样本中尽可能分别出来。生成器和判别器相互对抗、不断学习，最终目的使得判别器无法判断生成器的输出结果是否真实。

预训练（Pre-trained）

预训练指的是在模型用于特定任务之前，先在大规模无标签（未标注）数据上进行无监督训练。GPT通过学习大规模文本语料库（例如，网页、书籍等），学习到通用的自然语言诸如句法、语义以及一些常识等语言知识、统计规律和潜在结构。然后，只需通过较少量的相关微调，就将学习到的通用特征迁移到各种具体任务，并实现较好的效果。

迁移学习（Transfer Learning）就是使用已训练的模型来解决更复杂的任务（更多讨论参考章节“5.28.9  模型蒸馏与模型迁移”）。这种方法的基本思想是，如果两个任务相关，那么可以使用已解决第一个任务的模型来加速解决第二个任务。迁移学习使基础大模型成为可能：迁移学习通常使用在数据和计算资源有限的情况下，因为可以使用已经训练好的模型的知识，而不是从头开始训练新的模型；然后再使用监督学习来对模型进行针对性的微调（Fine-Tune）。在深度学习中，预训练又是迁移学习的主要方法：在替代任务上训练模型，然后通过微调来适应感兴趣的下游任务。

自回归（Autoregressive）

使用一个序列的前面的值（也就是自身）来预测其后面的新的值。GPT是一种自回归语言模型，这意味着它通过预测文本序列中的下一个单词来生成文本。因此，GPT是一种单向的语言模型，即通过左侧的单词序列预测右侧的单词序列；而另一种架构BERT则是一种双向的语言模型，即通过同时考虑左右两侧的单词序列来预测中心单词的表示。更详见介绍，参见章节“5.28.5  是单向，还是双向预测”。

下面再介绍一下GPT的工作流程。OpenAI公司陆续发布了GPT-1、GPT-2、GPT-3、GPT-3.5、GPT-4、GPT-5等多个AI自然语言大模型。而从历代沿革来看，原理基本相同：

第一，都是采用一种称之为“自回归生成”的关联统计方法；

第二，都是采用：

0.无监督学习来预训练出一个基础通用模型。

1.然后再通过监督学习进行微调适配各种任务（获得SFT模型, Supervised Fine-Tuning）。这样结合形成了一种使用无监督预训练和有监督微调相结合的语言理解任务的“半监督方法”。通俗来说，监督学习就是在“有答案”的数据集上学习，例如我们要用监督学习（supervised learning）训练一个中文到英文的机器翻译模型，我们就需要有中文以及其对应的英文。

2.SFT模型不一定符合人类偏好，最后采用“从人类反馈中强化学习”（Reinforcement Learning from Human Feedback：RLHF）的强化学习方法，使得模型能像人类一样进行对话交流。其主要作用是将预训练的模型的目标对齐（Align，校准，让模型输出人类满意的内容）到聊天这一具体的下游应用上。强化学习可以理解为让智能体在给定环境中学习如何执行最优决策，以获得最大回报（Reward，奖励），即此时的回复最符合人工的选择取向。例如，在游戏中的机器人，可以通过执行不同的动作来尝试获得最大的分数。每一次动作后，机器人都会根据得分的提升或下降来调整自己的策略，以便在未来尽可能地获得最大的回报。

第三，都是基于一种称之为“Transformer”的算法框架。即都是“GPT”（生成式预训练转换器，或称生成式预训练大模型）。

5.1.4  Transformer模型架构：注意力就是一切（Attention Is All You Need）

可以说，Transformer奠定了生成式AI领域的游戏规则。2017年，在Ashish Vaswani et.al 的论文《Attention Is All You Need》（你所需要的，就是注意力）中，提出了一种新的简单架构——Transformer（变换器、转换器、变压器，和“变形金刚”是一个词），它完全基于注意力机制，完全不用递归和卷积，因而这些模型在质量上更优，同时更易于并行化计算，并且需要的训练时间明显更少。Transformer出现以后，迅速取代了RNN系列变种，跻身主流模型架构基础（RNN缺陷正在于流水线式的顺序计算）。

在Transformer中，自注意力机制（Self-Attention）可以在不同位置之间计算注意力权重，从而获得一个综合的表示。这个机制使得模型在处理序列数据时能够同时关注序列中的不同位置，而不是像传统模型那样逐步处理，让模型可以更灵活地处理不同位置之间的依赖关系。具体地，自注意力机制可以在序列中的每个位置计算权重，从而计算每个位置与序列中其他位置的关系。这样的注意力机制可以捕获序列中的长期依赖关系，而不像传统的RNN和LSTM那样，只能处理有限长度的序列（容易丢失信息，特别是在长文本中）。

为了提高模型的表达能力，Transformer中的自注意力机制被扩展为多头注意力（Multi-Head Attention）。每个头都学习关注输入序列的不同部分，然后这些不同头的输出被合并起来。Transformer的模型架构如下图所示。

图5-7  Transformer模型架构

以上的话通俗来说，Transformer的优势体现在：

 处理词语的方式：传统的方法可能是逐个词地处理，就像阅读一本书，一次只看一个词。但是Transformer不同，它可以同时看很多词，就像是一眼就能看到整个句子。

 关注重要的地方：Transformer特别擅长关注句子中不同的部分，就像我们读文章时，可能会注意标题、关键词、或者句子中的重要信息。这使得它更能理解上下文。

 多任务处理：不仅如此，Transformer还可以同时处理很多不同的任务，就像是一个多才多艺的人。这让它在各种语言处理任务上都表现得很好，比如翻译、问答等等。

 记得顺序：有趣的是，虽然它能一次性看到整个句子，但为了理解语言的顺序，它学会了一些特殊的技巧，就好像是在读书时能够感受到故事情节的发展。

我们再通俗解释一下什么是注意力机制？以这两个句子为例：

1.“我喜欢吃苹果。”

2.“我想买手机，听说苹果不错。”

这里的“苹果”一词有两个非常不同的含义，我们人类可以通过查看周围的词语来轻松消除歧义。同样，自注意力允许神经网络理解一个词在其周围词语的上下文中的含义。因此，当模型处理第一句中的“苹果”一词时，它可能会“关注”到“吃”一词，这有助于区分水果的苹果和手机品牌的苹果。在第二句中，模型可能会关注到“手机”一词，以确定这个“苹果”指的是苹果手机。

那么，模型如何知道在每个时间步应该“关注”哪些单词呢？这是通过训练数据学习到的。通过观察成千上万个句子的例子，模型学会了哪些单词是相互依赖的。再比如：“情人眼里出西施”，因为你只关注所喜欢那个人的好看地方，其他不好看的地方你视而不见。

5.1.5  是单向，还是双向预测？

Transformer架构可分为自回归系列（例如OpenAI的GPT，偏好生成性任务的解码器Decoder）、双向Transformer+Mask的自编码系列（例如Google的BERT，偏好自然语言理解的Encoder）、Encoder-Decoder架构（例如Google的T5，使用双向/单向Attention，偏好条件文本生成）。其中，如下图所示，GPT对原始Transformer模型进行了显著简化，解除了顺序关联和依赖性的前提，仅采用上文预测单词；而作为对比，Google的BERT（Bidirectional Encoder Representations from Transformers，双向编码生成Transformers），采用了基于上下文双向的预测手段。

 预训练方式不同：GPT是一种单向的语言模型，即通过左侧的单词序列预测右侧的单词序列；而BERT则是一种双向的语言模型，即通过同时考虑左右两侧的单词序列来预测中心单词的表示。

 目标不同：GPT的目标是生成下一个单词，即通过给定一段文本，预测下一个单词的概率分布；而BERT的目标是预测中心单词，即通过给定一段文本，预测每个单词的隐含表示，其中中心单词的表示可以用于其他任务中。

图5-8  GPT和BERT两种架构的不同

5.1.6  专家混合（MoE）模型

专家混合（Mixture-of-Experts, MoE）模型是一种基于“分而治之”与“动态路由”理念的神经网络架构，其核心逻辑是将复杂任务拆解为多个子任务，由多个专门的“专家”网络分别处理，同时通过一个“门控”网络（Gating Network）动态决定将输入数据路由到最合适的专家——根据输入数据实时计算各专家的权重分配，从而在推理阶段仅激活最相关的专家子集。每个专家网络都是专注于特定领域或数据特征的子模型——比如在自然语言处理中，有的专家擅长语法分析，有的擅长语义理解，有的则专注于多模态数据融合——而门控网络就像一个智能“调度员”，通过计算输入与各个专家的相关性（如使用概率模型或注意力机制），选择最匹配的少数专家进行激活（即“稀疏激活”），避免了传统稠密模型需激活所有参数的冗余计算。

MoE模型计算效率高，因为在处理任何给定Token时，只有一小部分参数是活跃的。这种设计的优势十分显著：一方面，稀疏激活大幅降低了计算开销，比如DeepSeek的MoE模型每个输入Token仅激活8个专家，却能发挥6710亿总参数的能力；另一方面，专家的专业化分工让模型更灵活，能更好处理多样化输入，而通过增加专家数量即可轻松扩展模型容量，无需重构整个架构。如今，MoE已成为大模型领域的关键技术，成为平衡模型规模与计算效率的重要解决方案。

5.1.7  检索增强生成（RAG）

检索增强生成（Retrieval-Augmented Generation，RAG）是一种将大型语言模型（LLM）的生成能力与外部知识检索系统相结合的技术框架。其核心理念是，在模型生成回答之前，先实时检索外部的动态知识库，并找到与用户查询最相关的信息内容片段，然后将这些检索到的内容作为上下文输入给大语言模型，引导其生成更加准确、具体且基于事实的回应。简单讲，RAG就是每次先查资料，然后再据此回答问题。这种方法有效弥补了传统LLM依赖于静态训练数据、容易产生幻觉或提供过时信息的缺陷，使模型能够在不重新训练的情况下获取最新或特定领域的知识，增强了回答的可靠性与时效性。RAG不会改变大模型的自身能力，但能像“外挂”一样，提高大模型回答的精准度。

与传统生成模型仅依赖预训练参数不同，RAG模型在执行任务时会先检索与输入相关的权威资料片段，然后将这些检索到的外部知识作为补充上下文增强到提示词中，与原始提示词一起送入到生成模型（如Transformer架构）中，指导模型在参考权威信息的基础上生成更准确、可靠且具有时效性的回答。RAG不仅提升了生成内容的质量和可信度，还为模型的决策过程提供了可追溯的信息来源，增强了系统的透明度和可解释性，广泛应用于问答系统、智能客服、研究辅助等需要高准确性和知识密集型的场景。

5.1.8  ChatGPT的局限性

ChatGPT的使用上还有局限性，模型仍有优化空间：

❌ChatGPT模型的能力上限是由奖励模型决定，该模型需要巨量的语料来拟合真实世界，对标注员的工作量以及综合素质要求较高。针对这点，已提出了很多方法来减少人工量。例如，为了减少人类反馈，CAI（Constitutional AI，宪法AI）虽也建立在RLHF的基础之上，但在排序过程使用模型（人工智能而非人类）对所有生成的输出结果提供一个初始排序结果，即CAI用人工智能反馈来代替人类对表达无害性的偏好。

❌因为训练一次要好几个月甚至半年的时间，所以无法实时纳入新知识，大模型一般都是半年前的知识。

❌特别专业的知识还不足。ChatGPT无法处理复杂冗长或者特别专业的语言结构。对于来自金融、自然科学或医学等非常专业领域的问题，如果没有进行足够的语料“喂食”，ChatGPT可能无法生成适当的回答。

❌“一本正经地胡说八道”：仍然不完全可靠（它“幻觉”事实并犯推理错误），在其未经大量语料训练的领域缺乏“人类常识”和引申能力。例如让ChatGPT做一道小学应用题，尽管它可以写出一长串计算过程，但最后答案却是错误的。出现幻觉的原因，简单来说就是：标准的训练和评估程序更倾向于对猜测进行奖励，而不是在模型勇于承认不确定时给予奖励。

❌ChatGPT仍然是黑盒模型，解答过程不透明以及不知道为什么会这么回答。目前还未能对ChatGPT的内在算法逻辑进行分解，因此并不能保证ChatGPT不会产生攻击甚至伤害用户的表述。可解释性（Interpretability）可从两个角度展开，即透明性（Transparency）和可说明性（Explainability）；具体又可分为模型相关的还是模型无关的可解释性、局部的还是全局的可解释性、本质的还是事后可解释性。

模型压缩：降低模型的大小和成本

虽然ChatGPT很强大，但其模型大小和使用成本也让很多人望而却步。有三类模型压缩（Model Compression）可以降低模型的大小和成本。

 第一种方法是量化（Quantization），即降低单个权重的数值表示的精度。比如Tansformer从FP32降到INT8对其精度影响不大。

 第二种模型压缩方法是剪枝（Pruning），即删除网络元素，包括从单个权重（非结构化剪枝）到更高粒度的组件如权重矩阵的通道。这种方法在视觉和较小规模的语言模型中有效。

 第三种模型压缩方法是稀疏化。例如奥地利科学技术研究所（ISTA）提出的SparseGPT可以将GPT系列模型单次剪枝到50%的稀疏性，而无需任何重新训练。对GPT-175B模型，只需要使用单个GPU在几个小时内就能实现这种剪枝。

小样本问题

目前人工智能存在的主要问题——小样本问题。人类非常擅长通过极少量的样本识别一个新物体，比如小孩子只需要书中的一些图片就可以认识什么是“斑马”，什么是“犀牛”。在人类的快速学习能力的启发下，希望机器学习模型在学习了一定类别的大量数据后，对于新的类别，只需要少量的样本就能快速学习，这就是小样本学习（Few-shot Learning）要解决的问题。和天才的人类棋手相比，战胜李世石的AlphaGo其实是个“笨小孩”，它观摩和训练的棋局数以千万计，胜在了“勤能补拙”。

在数据层面，可利用先验知识对数据进行扩充、增强，增多数据量。常用的方法包括：

 数据生成（生成对抗网络)

 在训练集进行样本转换（如裁剪、旋转等)

 在弱标注数据或者无标注数据集中进行转换

 从相似的数据集中进行转换

在模型层面，可通过先验知识约束假设空间，缩小假设空间的范围。常用的假设空间约束方式包括：

多任务学习：利用不同的近似任务来实现模型之间参数共享或者绑定，实现从侧面优化目标模型。

嵌入学习：将所有数据样本映射到一个较小嵌入空间，就很容易使得模型区分不同类别的数据。

生成模型：生成模型利用先验知识从观察到的样本估计目标的概率分布，从而产生对应的分布。

联邦学习

联邦学习（Federated Learning）是一种分布式机器学习范式，旨在实现数据隐私保护下的协同模型训练，其核心思想是让多个参与方（如移动设备、医疗机构或企业）在本地数据上训练模型，仅上传模型参数更新而非原始数据到中央服务器进行聚合，从而在保护数据隐私的同时实现全局模型的优化。它允许多个数据持有方在不共享原始数据的前提下，通过协作训练统一的机器学习模型，从而破解“数据孤岛”困境。

联邦学习的核心在于“数据不动模型动”——各参与方仅本地保留原始数据（不外传），只是通过加密技术（如差分隐私、同态加密）交换模型参数或梯度更新，确保原始信息永不离开本地。这种去中心化的训练方式有效解决了数据孤岛问题，特别适用于医疗、金融等对数据敏感度高的领域，既满足了隐私法规（如GDPR）的合规要求，又能利用分散数据提升模型性能。

增量学习

增量学习（Incremental Learning）是一种机器学习方法，其核心理念是让模型能够在不遗忘已有知识的前提下，持续地从新到来的数据中学习新的信息或适应环境的变化。与传统的批量学习模式不同，增量学习不要求模型在每次获取新数据时都使用全部历史数据重新训练整个模型，而是通过动态更新模型参数的方式，逐步融合新知识，从而适应数据分布的演化、新增的类别或任务——它摒弃传统批量训练中需反复重建整个模型的高成本模式，转而通过逐步吸收新增信息来动态更新已有知识体系。这种方法特别适用于数据持续生成、存储资源有限或重新训练成本高昂的现实场景，如在线推荐系统、自动驾驶、智能监控和物联网设备。

这种方法的核心价值在于高效利用历史学习成果，仅针对新数据调整模型参数或结构，既显著节省计算资源与存储空间，又能在流式数据场景（如实时推荐系统或物联网设备）中实现即时响应。增量学习面临的主要挑战是“灾难性遗忘”，即模型在学习新知识时可能严重干扰甚至覆盖原有的知识结构（新知识可能覆盖旧记忆）。为此，研究者提出了多种策略，如复用部分旧数据样本、模型正则化、模型扩展和参数隔离、知识蒸馏等，以平衡新旧知识的学习——在模型的可塑性（适应新任务）与稳定性（保留旧能力）间寻求平衡。理想的增量学习系统应具备高效性、稳定性与可扩展性，使人工智能体能够像人类一样渐进式知识积累、终身学习、不断进化。

5.1.9  模型蒸馏与模型迁移

模型蒸馏（Model Distillation）与模型迁移（Model Transfer，通常指迁移学习，Transfer Learning）是优化和复用模型能力的两种不同技术路径。它们在目标、实现方式和应用场景上有显著区别。以下是两者的主要差异：

核心目标不同

模型蒸馏：

核心思想：将大型复杂模型（教师模型）的知识或决策逻辑转移（“提炼”）到更小、更高效的简单模型（学生模型）中，旨在压缩模型规模并保持性能，两者的网络结构可以是截然不同的（如下图所示）。在训练学生模型时，采用教师模型的输出作为监督信号。蒸馏通过“软标签”传递教师模型的暗知识（Dark Knowledge）：通过让学生模型模仿教师模型的输出概率分布（软标签），相比于硬标签，其携带了更多的信息，例如类别之间的相似度，这使得学生模型能够在较少的数据和参数的情况下，学到更加丰富的知识。一般来说，模型蒸馏中两个模型的所要完成的任务场景是一样的。

种类：数据策展蒸馏（从大规模原始数据中筛选、优化并生成高质量数据，提炼出信息密度高的小型数据集，提高模型训练效率、减少计算成本）、特征级蒸馏（教师模型输出中间层隐含表征，学生模型对齐高维特征，实现深层知识迁移，增强对数据本质特征的理解）、反馈驱动蒸馏（打破“单向模仿”，教师模型针对学生模型的生成结果给出偏好评分、纠错建议等反馈）。

典型应用：移动端部署、边缘设备的实时推理等需要轻量化的场景。如将BERT蒸馏为TinyBERT，参数减少40%但保留97%的语言理解能力。

模型迁移：

核心思想：是利用已有模型的知识解决新任务的机器学习方法——利用已在源任务（Source Task）上训练好的模型作为基础，通过微调适应新的目标任务（Target Task）。其核心目标是跨任务的知识泛化，减少对新任务数据的依赖。重点在于跨领域的知识复用，而非单纯缩小模型体量。迁移的过程本质上就是利用任务或领域间的相似性，用A中的权重参数来重新初始化B中对应的权重参数，这暗含着权重参数的迁移，也即暗含着迁移部分的网络结构是一样（如下图所示，保留大部分原始参数）。例如，使用预训练的ResNet进行图像分类时，替换最后的全连接层以适配新类别的数据。通常来说，在模型迁移中两个模型的需要完成的任务场景并不相同。

典型应用：数据稀缺场景下的快速适配，如医疗影像分析中迁移ImageNet预训练权重。

图5-9  模型蒸馏与迁移学习的区别（图片来源：月来客栈@知乎）

知识传递方式

模型蒸馏：

通过教师模型的输出（如软标签、中间层特征、注意力图等）引导学生模型学习，而非直接复用教师模型的参数。例如，学生模型可能通过最小化与教师模型输出分布的差异（如用KL散度来衡量）去优化参数。学生模型通常独立设计，结构与教师模型不同（但可能保留部分相似性），且规模显著更小。通常不需要额外标注数据，但需足够数据以覆盖教师模型的知识分布。

模型迁移：

直接复用预训练模型的参数或部分结构（如特征提取层），仅对顶层任务相关层进行微调（Fine-tuning）来调整源模型参数。例如，在图像分类中，可能固定预训练的卷积基，仅重新训练全连接层。目标模型通常基于预训练模型的结构进行扩展或修改，保留大部分原始参数。目标任务数据需标注，但标注量可显著少于从零训练的需求。

网络结构关系不同

模型蒸馏：

灵活性高：教师与学生模型的结构可以完全不同。例如，DistilBERT虽基于BERT架构，但层数减半且去除部分组件，仍能通过软标签学习实现高效压缩。

知识传递方式：依赖“软标签”（通过温度参数调整概率分布）而非仅硬标签（真实类别），使学生模型捕获教师对不确定性的建模能力。

模型迁移：

同构性要求强：通常要求源模型与目标模型共享部分网络结构（如特征提取器），以便直接复用权重参数。例如，冻结CNN的前几层特征提取器，仅重新训练分类头。

适配策略：侧重于参数初始化和局部调整，而非从头训练整个网络。

训练方法差异

模型蒸馏：

模型蒸馏通常包含以下步骤：

教师模型训练：首先在大规模数据集上训练一个高性能的教师模型，使其输出包含丰富的概率分布信息（软标签）。

学生模型设计：设计结构更简单的学生模型（如减少层数、通道数或使用更高效的运算方式）。

知识传递：通过损失函数（如交叉熵损失、KL散度）将教师模型的输出与学生模型的输出对齐。例如，学生模型不仅要学习真实标签（硬标签），还需学习教师模型输出的软标签。

额外约束：部分蒸馏方法还会引入中间层的特征对齐（如FitNet）或注意力机制的迁移（如AT方法）。

温度参数调节：通过调整softmax的温度系数控制软标签的平滑程度，增强学生对类别间相关性的学习。

总之，模型蒸馏的核心思想是将复杂模型（教师模型）的知识“提炼”到更轻量的模型（学生模型）中，通常通过软化输出概率分布（如使用温度缩放后的softmax）或中间层特征匹配来实现。

模型迁移：

模型迁移侧重于将预训练模型的知识迁移到新任务或新领域，通常通过微调（Fine-Tuning）或特征提取实现。其核心假设是模型在源任务学到的通用特征（如图像纹理、语义表示）可帮助目标任务更快收敛。例如，在ImageNet预训练的ResNet迁移到医学影像分析时，仅需调整最后几层即可获得较好效果。

渐进式学习：常见于预训练+微调范式，先固定底层参数以防止过拟合，再逐步放开高层进行任务特定更新。

领域自适应（Domain Adaptation）技术：即通过调整模型参数使其适应不同数据分布的任务（如从通用文本迁移到法律文本）。

技术特点对比

优缺点对比

模型蒸馏：

优点：模型轻量化，适用于边缘设备；知识迁移效率高（软标签传递复杂信息）。

缺点：依赖教师模型质量（教师性能不足则蒸馏效果差）；压缩可能导致精度损失。

模型迁移：

优点：灵活性强，可适配不同任务和数据分布；解决数据稀缺问题，降低标注成本。

缺点：源域与目标域差异过大时易出现负迁移；微调需平衡过拟合风险（尤其少样本场景）。

实际案例对比

蒸馏案例：AlphaGo Zero的知识蒸馏中，学生模型仅需1%的计算资源即可复现90%的棋力，体现了极端效率提升；DeepSeek通过蒸馏大型语言模型实现低成本高性能推理。

迁移案例：在自然语言处理中，使用BERT作为初始模型进行情感分析任务微调，显著缩短训练周期并提升效果。

总的来说，模型蒸馏聚焦“小模型高性能”（“大模型变小”），侧重于“瘦身”而不损性能，适合部署资源受限的场景；模型迁移则聚焦“跨域知识复用”（“人才跨国交流”、“旧任务转新任务”），强调“举一反三”，通过预训练模型快速适配新任务。两者均致力于提升模型效率，但路径不同——前者自上而下浓缩知识，后者横向扩展应用边界。

知识蒸馏可被视为迁移学习的一种特殊形式。例如，当教师模型的知识被传递到学生模型时，本质上是将源模型（教师模型）的知识迁移到目标模型（学生模型）中。但这种迁移的侧重点在于模型规模的压缩，而非任务适配。

5.1.10  视频生成：类ChatGPT的视频生成技术

ChatGPT是文本生成技术，而Sora是OpenAI于2024年发布的视频生成的类ChatGPT划时代技术。比如如何生成如下图所示的高清视频？你无需任何拍摄，只需输入以下提示词文本即可：“这是一个60多岁留着胡子的白发男子的特写镜头，他坐在巴黎的一家咖啡馆里，沉思着宇宙的历史，当人们走着的时候，他的眼睛聚焦在屏幕外的人身上，他几乎一动不动地坐着，他穿着羊毛外套西装外套和纽扣衬衫，戴着棕色贝雷帽和眼镜，最后，他微微一笑，仿佛找到了生命之谜的答案，灯光非常像电影，背景是金色的灯光和巴黎的街道和城市，景深，35毫米电影胶片”，Sora将根据你的这些提示词文本自动生成高清视频。

图5-10  Sora根据用户提供的提示词文本自动生成高清视频

Sora将Diffusion Model（扩散模型）+Transformer两种技术架构进行了结合。其中，扩散模型（Diffusion Model）起源于非均衡热动力学，通过模拟自然界中常见的扩散过程来学习生成新数据。通过增加（高斯）噪声来逐步混淆数据（扩散过程），随后学习逆转噪声过程以重新构造样本（逆扩散过程），如下图所示。

图5-11  扩散模型的工作原理

此外，目前在各个领域中，已有各式各样的AI创作工具，来为你赋能（比如你原本不会作曲或者唱歌）或者提高工作效率，比如AI作曲工具（如：Suno、天工SkyMusic）、AI视频生成工具（如：Google Veo、Sora、Runway、快手可灵、即梦AI）、AI图像生成工具（如：MidJourney、DALL·E、Stable Diffusion）等等，可以说应有尽有，这是个AI工具“寒武纪大爆发”的时代。

5.1.11  人工智能在医疗领域应用场景

ChatGPT可以用于医学自然语言处理、智能问诊等方面的应用，包括分析患者的症状、历史与药物信息并给出诊断建议或治疗方案，减轻医院医生的压力，提高精确度和效率。

此外，AI特别是深度神经网络技术，对疾病进行诊断可达到甚至超过人类专家的水平，如下图所示。例如，斯坦福大学用深度神经网络实现皮肤科医生水平的皮肤癌分类；Cell发表诊断眼病和肺炎两大类疾病的AI系统；深度神经网络攻克心律不齐、识别遗传疾病的面部表征、Nature Medicine发表用AI进行糖尿病人慢性肾病早期预测、心电图筛查心脏收缩功能障碍，等等。

图5-12  人工智能在医疗领域应用场景（图片来源：百度）

AI在医疗领域的优势：

✔人工智能基于不同算法，由数据驱动，可提高数据处理质量及效率，降低成本；

✔客观、真实、深度挖掘数据与临床之间的相关性；

✔快速、准确率高；

✔优化临床路径，改变诊疗方式。

局限性：

对数据数量及质量要求高，人工标注图集成本高；

难以完全自动化，需要人工输入；

多模态综合诊断和辅助是未来方向。

5.1.12  从软件1.0、软件2.0到软件3.0时代

安德烈·卡帕西（Andrej Karpathy）提出软件发展的三阶段演进，对软件开发历史进行了重新划分：

软件1.0：传统软件，由程序员用Python、C++等语言编写确定性、人类可读的源代码。这依赖硬编码规则，易理解但缺乏灵活性。

软件2.0：程序不再是人类“编写”的逻辑，而是通过数据“优化”出来的，核心不再是源代码，而是神经网络的数值“权重”——一个通过数据训练优化而成的庞大参数集。开发者由“程序员”转变为一个“教师”或“数据策展人”，工作重心转向数据准备（收集正负样本、清洗和标注海量数据集）与模型训练，以引导优化过程找到最佳的程序（即权重）——经过特征工程（如词袋模型）处理后，用于训练一个二元分类器（比如进行人脸识别）。开发环境也从软件1.0的集成开发环境（IDE）转变为由PyTorch、TensorFlow等数据处理流水线和模型训练框架。这需要大量标注数据训练专用模型，能力强但成本高、通用性差。

软件3.0：核心是“提示词”（Prompt，类似于念经或念咒语），利用预训练大模型（如LLM）完成任务。LLM是可编程的通用大型神经网络网络，通过自然语言指令执行多样任务。卡帕西称“最热门的新编程语言是母语”，意指开发者只需用清晰语言描述任务，无需写代码或训练模型。与软件2.0时代功能单一固定而不通用的神经网络（如用于图像识别的AlexNet）不同，LLM是一个“可编程的神经网络”，能够根据指令执行多样化的任务。这通过提示词+少样本示例（Few-Shot Prompting）引导模型，开发快、灵活，无需代码编写。

其中，2017年《Attention is All You Need》论文中提出的Transformer架构是实现可编程（软件3.0）这一飞跃的关键。Transformer的自注意力机制（Self-Attention）使模型能够深入理解语言上下文，使其成为一种通用的计算系统。

从1.0到3.0，创造软件的门槛从编程技能，变为机器学习和数据工程的专业技能，再最终降低为清晰的逻辑思维和自然语言表达能力，这大大地降低了软件创造的门槛、推动了开发民主化。同时，也将产生“超级个体时代”，即公司可能只有一个人或几个人，但商业化价值却超过之前几百上千人的大公司，因为几乎所有的工作岗位全部被AI自动化取代了。软件3.0工程师的核心竞争力不再是传统的编码技巧，而是成为一个更优秀的AI“教师”和“沟通者”：擅长通过精妙的提示词工程（Prompt Engineering）来引导和激发模型的潜能，进行上下文管理和系统设计架构，并深刻理解大模型的“心理”特质，同时在多个大模型给出的结果中作出具有判断力的选择。通俗来讲，以后一个公司老板的主要工作是跟AI聊天和谈心，在聊天的过程中把全部工作任务事项交代给AI去自动化完成，然后根据AI的结果进行选择和反馈迭代。

这种范式转变并非简单的技术升级，而是一种深刻的权衡。AI在处理像自动驾驶这样复杂、数据丰富的领域时展现出超越人类，却牺牲了确定性与可解释性，带来“能力”与“可靠性”的矛盾，以牺牲传统软件的确定性和可解释性为代价，换取了在模糊和复杂问题上的强大性能。

安德烈·卡帕西称其为“锯齿状智能”（Jagged Intelligence）：同一模型可能在上一秒展现惊人智慧，随即下一秒在简单问题上出错。也即，AI的能力不是一个完整的球体，而是一个奇怪的形状，某些方向上突出得极远，某些方向上有令人意外的深坑，而且你很难提前预测哪里会是坑。这种不一致性是其核心缺陷的根源。

 幻觉（Hallucination）：AI有时会输出错误或无意义的内容，这不是程序错误，而是源于模型追求“最可能”而非“最真实”的生成机制。更本质地，AI幻觉的出现是因为：投喂给AI的数据，只是真实复杂世界的“投影”而丢失了原本在高维中的“结构”。正如柏拉图所说的“洞穴之喻”：人们看不到真正的（三维）世界，人们只能看到洞壁上的（二维）影子。

 顺行性遗忘（Anterograde Amnesia）：如同电影《记忆碎片》，LLM缺乏长期记忆，无法通过交互积累新知识，而受限于上下文窗口。

 轻信（Gullibility）：天生容易上当，难以分辨开发者设定的系统指令与用户的恶意指令，易受“提示词注入”攻击，构成根本安全漏洞。

NVIDIA创始人黄仁勋阐述了AI四阶段架构路线图：第一代AI技术是感知（比如人脸识别），第二代是生成式AI（比如ChatGPT），当前正进入第三代的推理AI（Agentic AI）阶段。

【“AI哲学一吴怀宇”（中国科学院博士、北大博士后）作者主页：www.OpenDAI.org；邮件：huaiyuwu@sina.com 视频号/公众号：AI哲学一吴怀宇中国科学院（人工智能哲学）】

支持单位：