「AI哲学」让人类“为自身立命”与“为AI立心”。

从上节我们可以看出，个性化推荐系统确实很会“察言观色”，针对不同的用户，主动推送不同的3D打印内容。但如果你认为它真正有了“人工智能”，那你就错了。其实，这些推荐系统背后的运行原理主要基于概率统计、矩阵或图模型，计算机对这些数值运算确实很擅长，但由于采用的只是“经验主义”的实用方法（也即管用就行），而非以“理性主义”的原则真正探求智能产生的原理，所以距离真正的人工智能（AI：Artificial Intelligence）还很远。虽然计算机技术已经取得了长足的进步，但是到目前为止，还没有一台计算机能产生“自我”的意识。

提示：图灵测试（Turing Testing），是计算机是否真正具有人工智能的试金石。“计算机科学之父”及“人工智能之父”英国数学家阿兰·图灵（1912—1954）在1950年的一篇著名论文《机器会思考吗？》里，提出图灵测试的设想。即把一个人和一台计算机分别隔离在两间屋子，然后让屋外的一个提问者对两者进行问答测试。如果提问者无法判断哪边是人，哪边是机器，那就证明计算机已具备人的智能。

直到深度学习（Deep Learning）的出现，让人们看到了一丝曙光，至少，（表象意义下的）图灵测试已不再是那么遥不可及了。2013年4月，《麻省理工学院技术评论》杂志将深度学习列为2013年十大突破性技术（Breakthrough Technology）之首。有了深度学习，推荐系统可以更加深度地挖掘你内心的需求，并从海量的3D模型库中挑选出最合适的供你打印。

5.27.1  人类大脑是个深层神经网络

让我们先来看看人类的大脑是如何工作的。1981年的诺贝尔医学奖，颁发给了David Hubel和Torsten Wiesel，以及Roger Sperry。前两位的主要贡献是，发现了人的视觉系统的信息处理是分级的。如图4-45所示，从视网膜（Retina）出发，经过低级的V1区提取边缘特征，到V2区的基本形状或目标的局部，再到高层的整个目标（如判定为一张人脸），以及到更高层的PFC（前额叶皮层）进行分类判断等。也就是说高层的特征是低层特征的组合，从低层到高层的特征表达越来越抽象和概念化，也即越来越能表现语义或者意图。

图4-45  人脑的视觉处理系统 （图片来源：Simon Thorpe）

这个发现激发了人们对于神经系统的进一步思考。大脑的工作过程，或许是一个不断迭代、不断抽象概念化的过程，如图4-46所示。例如，从原始信号摄入开始（瞳孔摄入像素），接着做初步处理（大脑皮层某些细胞发现边缘和方向），然后抽象（大脑判定眼前物体的形状，比如是椭圆形的），然后进一步抽象（大脑进一步判定该物体是张人脸），最后识别眼前的这个人──正是大明星刘德华。这个过程其实和我们的常识是相吻合的，因为复杂的图形，往往就是由一些基本结构组合而成的。同时我们还可以看出：大脑是一个深度架构，认知过程也是深度的。

图4-46  视觉的分层处理结构 （图片来源：Stanford）

而深度学习（Deep Learning），恰恰就是通过组合低层特征形成更加抽象的高层特征（或属性类别）。例如，在计算机视觉领域，深度学习算法从原始图像去学习得到一个低层次表达，例如边缘检测器、小波滤波器等，然后在这些低层次表达的基础上，通过线性或者非线性组合，来获得一个高层次的表达。此外，不仅图像存在这个规律，声音也是类似的。比如，研究人员从某个声音库中通过算法自动发现了20种基本的声音结构，其余的声音都可以由这20种基本结构来合成！

5.27.2  人工神经网络：从浅层神经网络到深度神经网络

在进一步阐述深度学习之前，我们需要了解什么是机器学习（Machine Learning）。机器学习是人工智能的一个分支，而在很多时候，几乎成为人工智能的代名词。简单来说，机器学习就是通过算法，使得机器能从大量历史数据中学习规律，从而对新的样本做智能识别或对未来做预测。

而深度学习又是机器学习研究中的一个新的领域，其动机在于建立可以模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如，图像、声音和文本。深度学习之所以被称为“深度”，是因为之前的机器学习方法都是浅层学习。深度学习本质上并非全新的技术方法，可以简单理解为传统神经网络（Neural Network）的发展和复兴。大约二三十年前，神经网络曾经是机器学习领域特别热门的一个方向，这种基于统计的机器学习方法比起过去基于人工规则的专家系统，在很多方面显示出优越性。如图4-47所示，深度学习与传统的神经网络之间有相同的地方，采用了与神经网络相似的分层结构：系统是一个包括输入层、隐层（可单层、可多层）、输出层的多层网络，只有相邻层节点（单元）之间有连接，而同一层以及跨层节点之间相互无连接。这种分层结构，比较接近人类大脑的结构（但不得不说，实际上相差还是很远的，考虑到人脑是个异常复杂的结构，很多机理我们目前都是未知的）。

图4-47  传统的神经网络与深度神经网络

提示：人类大脑由千亿个神经元组成，同时每个神经元平均连接到其它几千个神经元，这样形成一个庞大的神经元网络。通过这种连接方式，神经元可以收发不同数量的能量，但它们对能量的接受并不是立即作出响应，而是先累加起来，只有当累加的总和达到某个临界阈值时才把能量发送给其它的神经元。而人工神经网络（Artificial Neural Networks, ANN）将人类神经网络作了数学上的抽象，如图4-47所示，将其抽象为输入层、输出层以及中间的若干隐层（Hidden Layer，用于层次化地对内在特征进行降维和抽象表达，相当于特征检测器），其中每层都有若干结点及连接这些点的边，通过在训练数据集上学习出边的权重（Weight）来建立模型。边所表征的函数（通常为非线性函数）的不同，对应于不同的神经网络。例如，第6章6.4.1节所介绍的感知机就是一种最简单的、不含任何隐层的前馈（Feedforward）人工神经网络，其中的函数被称为传递函数（Transfer Function）、而门限截止函数则被用作激活函数（Activation Function）。激活函数（如Sigmoid或ReLU）一般是非线性的，因此神经网络具有对非线性关系进行建模的能力。在上世纪七八十年代，这种在人工智能领域被称为联结主义学派（Connectionism）的方法曾盛极一时。

但是后来，因为理论分析的难度，加上训练方法需要很多经验和技巧，缺少有效地优化多层网络的高效方法（特别是对多层神经网络进行初始化的有效方法），以及巨大的计算量和优化求解难度，神经网络慢慢淡出了科研领域的主流方向。值得指出的是，神经网络（如采用最常用的误差反向传播算法：Error Back Propagation，简称BP算法，通过梯度下降方法在训练过程中修正权重使得网络误差最小）在层次深的情况下无法收敛到稳定状态（传播时容易出现所谓的梯度弥散Gradient Diffusion或称之为梯度消失，根源在于非凸目标代价函数导致求解陷入局部最优，且这种情况随着网络层数的增加而更加严重，即随着梯度的逐层不断消散导致其对网络权重调整的作用越来越小），所以只能转而处理浅层结构（小于等于3），从而限制了性能。于是，20世纪90年代，有更多各式各样的浅层模型相继被提出，比如只有一层隐层节点的支撑向量机（SVM，Support Vector Machine）和Boosting，以及没有隐层节点的最大熵方法（例如LR，Logistic Regression）等，在很多应用领域取代了传统的神经网络。

显然，这些浅层结构算法有很多局限性：在有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定的制约。更重要的是，浅层模型有一个特点，就是需要依靠人工来抽取样本的特征。然而，手工地选取特征是一件非常费力的事情，能不能选取好很大程度上靠经验和运气。既然手工选取特征不太好，那么能不能自动地学习一些特征呢？

提示：实际生活中，人们为了实现对象的分类，首先必须做的事情是如何来表达一个对象，即必须抽取一些特征来表示一个对象。例如，区分人和猴子的一个重要特征是是否有尾巴。特征选取的好坏对最终结果的影响非常大。

此外，我们希望提取到的特征能代表输入数据的最重要部分，就像PCA（Principal Component Analysis，主成分分析，请参见第6章的6.2.2节）那样，找到可以代表原信息的主要成分。以自动编码器（AutoEncoder）为例，这是一种尽可能复现输入信号的神经网络：即输出要尽可能与输入

相同，表示为。我们可通过训练调整这个神经网络的参数，来得到每一层中的权值系数，这样就可得到输入的一个层次化的表示。这个可代表原信息主要成分的表示就是所谓的特征。

进一步地，我们还可用来表示输出，其中称为字典。类似于PCA，

可理解为基，可理解为系数。同时，我们不仅希望将信号表示为一组层次化基的线性组合，而且要求只需较少的几个基就可以将信号表示出来，这就是所谓的稀疏编码（Sparse Coding）。“稀疏性”定义为：只有很少的几个非零元素或只有很少的几个远大于零的元素。也即，我们希望求得一组最佳的系数

，满足：

注意上式右边对系数采用了L1范式/范数/正则化/约束以近似满足稀疏性（稀疏性问题的本质是L0范数的优化），因此上式可基于Lasso（The Least Absolute Shrinkage and Selection operator）方法进行求解。除了L1范式，还有L2范式正则化（采用岭回归Ridge Regression方法），两者都有助于降低过拟合风险，但L1范式更易获得稀疏解，即有更少的非零分量。

之所以希望“稀疏性”是科学依据的，因为绝大多数的感官数据，比如自然图像，都可以被表示成“少量”基本元素的叠加，比如基本线/面的叠加。稀疏编码算法是一种无监督学习方法，它用来寻找一组“超完备”基向量（基向量的个数比输入向量的维数要大）以更高效地表示样本数据，以找出隐含在输入数据内部的结构与模式。

答案是能！深度学习框架将特征和分类器结合到一个框架中，自动地从海量大数据中去学习特征，在使用中减少了由手工设计特征的巨大工作量，即特征的提取由专家经验驱动转为数据本身驱动。看它的一个别名：无监督特征学习（Unsupervised Feature Learning），就可以顾名思义了。因此，深度学习是一种可以自动地学习特征的方法。

注意：无监督特征学习和无监督学习是两个完全不同的概念，其中无监督（Unsupervised）学习的意思就是不需要通过人工方式进行样本类别的标注来完成学习。深度学习虽是一种无监督特征学习的方法，但却需要海量人工标记的类别标注进行监督学习以获得远超传统方法的学习效果。准确地说，深度学习首先利用无监督学习对每一层进行逐层预训练（Layerwise Pre-Training）去学习特征；每次单独训练一层，并将训练结果作为更高一层的输入；然后到最上层改用监督学习从上到下进行微调（Fine-Tuning）去学习模型。

深度学习通过学习一种深层非线性网络结构（平常遇到的复杂问题一般都是高度非线性的），只需简单的网络结构即可实现复杂函数的逼近，并展现了强大的从大量无标注样本集中学习数据集本质特征的能力。深度学习能够获得可更好地表示数据的特征，同时由于模型的层次深（通常有5层、6层，甚至10多层的隐层节点，“深”的好处是可以控制隐层节点的数目为输入节点数目的多项式倍而非多达指数倍）、表达能力强，因此有能力表示大规模数据。对于图像、语音这种特征不明显（需要手工设计且很多没有直观的物理含义）的问题，深度模型能够在大规模训练数据上取得更好的效果。尤其是在语音识别方面，深度学习使得错误率下降了大约30%，取得了显著的进步。相比于传统的神经网络，深度神经网络作出了重大的改进，在训练上的难度（如梯度弥散问题）可以通过“逐层预训练”来有效降低。

注意：深度学习不是万金油，像很多其他方法一样，它需要结合特定领域的先验知识，需要和其他模型结合才能得到最好的结果。当然，还少不了需要针对自己的项目去仔细地调参数，而参数的设置缺乏理论指导，依赖于手工试错，这也往往令人诟病。此外，类似于神经网络，深度学习的另一局限性是可解释性不强，像个“黑箱子”一样不知为什么能取得好的效果，以及不知如何有针对性地去具体改进，而这有可能成为产品升级过程中的阻碍。

深度学习通过很多数学和工程技巧增加（堆栈叠加：Stack）隐层的层数，如果隐层足够多（也就是深），选择适当的连接函数和架构，就能获得很强的表达能力。深度学习的一个主要优势在于可以利用海量训练数据（即大数据），实际上也正是训练数据的大幅增加才使得深度网络终于可以摆脱“过拟合”风险，但是常用的模型训练算法反向传播（Back Propagation）仍然对计算量有很高的要求。而近年来，得        益于计算机速度的提升、基于MapReduce的大规模集群技术的兴起、GPU的应用以及众多优化算法的出现，耗时数月的训练过程可缩短为数天甚至数小时，深度学习才在实践中有了用武之地。

5.27.3  卷积神经网络（CNN）

值得一提的是，深度学习的诞生并非一帆风顺。虽然Yahn Lecun在1993年提出的卷积神经网络（Convolutional Neural Network：CNN）是第一个真正成功训练多层网络结构的学习算法，但之前在很长时间内应用效果一直欠佳（直到大数据与深层网络的出现）。CNN由多个用于特征映射Feature Mapping的卷积层和对其进一步合并采样的汇合Pooling层组成，并通过简单地将每组权值设置为同一值的权共享Weight Sharing策略来大幅减少需要训练的参数数目。

CNN的典型结构

CNN的核心思想是通过局部特征提取和参数共享，高效学习数据中的空间或时间模式，后来当数据量足够大以及网络层数足够深时终于在计算机视觉领域取得了突破性成果（如ImageNet图像识别竞赛的多次冠军）。CNN的典型结构由输入层、卷积层、池化层、全连接层和输出层组成，其中卷积层和池化层是其特色。

1．输入层

输入层由原始图像数据组成。

2．卷积层（Convolutional Layer）：特征提取的核心

卷积层提取图像的局部特征，通过卷积核扫描图像——通过卷积核（滤波器，Filter）在输入数据上滑动（卷积运算），计算局部区域的加权和，提取边缘、纹理等低级特征，生成特征图（Feature Map）。通过堆叠多层卷积，逐渐组合出高级语义特征（如物体部件、整体结构）。

卷积核：一个小尺寸的权重矩阵（如3×3、5×5），每个卷积核对应一种特征（如“垂直边缘”“水平边缘”）。

1×1卷积的作用：1×1卷积核尺寸小，但能降维（如将256维特征图降为64维）或增加非线性（通过激活函数），常用于模型压缩（如GoogleNet）。

3．激活层

非线性激活：通常使用ReLU（Rectified Linear Unit）函数引入非线性变换，缓解梯度消失问题并加速训练，并增强模型表达能力。

4．池化层（Pooling Layer）：降采样与鲁棒性增强

池化层进行降维操作（同时保留重要特征），减少特征图的尺寸，提高模型的计算效率——通过池化核对特征图进行下采样（如最大池化、平均池化，以减少空间尺寸），降低模型复杂度，同时增强对输入变化（如平移、缩放）的鲁棒性。

常见类型：

最大池化（Max Pooling）：取池化区域内的最大值——保留最显著特征，如边缘或物体部件；

均值池化（Mean Pooling）：取池化区域内的平均值——保留整体特征，如背景。

5．归一化层（Normalization Layer）

批量归一化（Batch Normalization）对每一批数据的特征进行标准化，使得每一层的输入分布更加稳定，并可以加速训练过程。

层归一化（Layer Normalization）：对单个样本的所有神经元输出归一化，适用于RNN等序列模型。

6．全连接层（Fully Connected Layer）：分类与决策

全连接层将卷积层提取的高维特征映射到类别空间，用于最终的分类或回归结果。

作用：将卷积层提取的“局部特征”整合为“全局特征”，最终实现对输入数据的分类（如“猫”“狗”）或回归（如物体位置）。

7．输出层

产生模型的最终输出，如分类概率分布。

CNN的优势所在

局部感受野（Receptive Field）：

每个神经元仅与前一层的局部区域相连——卷积操作关注局部区域（如3×3），能够有效捕捉局部特征，而非全连接（如全连接神经网络）。这种设计减少了参数数量，同时保留了空间相关性。同时，模仿人类视觉系统的局部到全局认知模式：神经元能感知的输入区域大小，随着网络层数的增加而扩大。感受野的扩大使高层神经元能感知更全局的特征，提升分类性能。

参数/权重共享（Parameter Sharing）：

同一卷积核在输入数据上滑动时，权重共享（即卷积核的权重不随位置变化）。大幅减少参数数量，降低了模型的复杂度，减少了过拟合的风险。

分层特征提取（Hierarchical Feature Extraction）：

自动特征提取：无需人工设计特征，通过多层卷积自动学习从低级（边缘、纹理）到高级（形状、目标）的层次化特征。通过卷积层和池化层的组合，CNN的深层结构实现了特征的分级提取：

 底层卷积层：提取简单特征（如边缘、纹理、颜色）；

 中层卷积层：提取部件特征（如眼睛、轮子、花瓣）；

 高层卷积层：提取复杂物体特征（如人脸、汽车、花朵）。

例如，在人脸识别任务中，底层提取“眉毛”“眼睛”的边缘，中层提取“眼睛”“鼻子”的部件，高层提取“人脸”的整体特征。

平移不变性：池化操作使得模型对输入的平移、缩放具有一定的鲁棒性。

空洞卷积（Dilated Convolution）：在标准卷积核中插入“空洞”，以扩大感受野范围，从而在不增加参数量的前提下，提升对大范围上下文信息的捕捉能力。

可分离卷积（Separable Convolution）：将标准卷积分解为深度卷积（逐通道）与逐点卷积（1x1），有效减少计算量。

残差连接（Residual Connection）：解决深层网络的梯度消失问题，允许梯度直接回传到早期层，缓解梯度消失/爆炸现象。例如，ResNet引入残差连接，允许跳过部分层直接传递信息，其152层的结构成为现代CNN的标杆。

正则化技术：为防止过拟合，CNN常采用Dropout（随机丢弃神经元）、L2正则化（限制权重大小）或数据增强（如旋转、裁剪图像）等方法。

并行计算效率：卷积操作可通过GPU高效并行处理，适合大规模数据训练。

总之，CNN作为计算机视觉的基石，其设计理念（局部性、层次化）仍深刻影响着新一代模型的发展。

5.27.4  深度神经网络与逐层预训练

值得一提的是，深度学习的诞生并非一帆风顺。虽然Yahn Lecun在1993年提出的卷积神经网络（Convolutional Neural Network：CNN，由多个用于特征映射Feature Mapping的卷积层和对其进一步合并采样的汇合Pooling层组成，并通过简单地将每组权值设置为同一值的权共享Weight Sharing策略来大幅减少需要训练的参数数目）是第一个真正成功训练多层网络结构的学习算法，但应用效果一直欠佳。直到2006年，Geoffrey Hinton基于深度置信网（Deep Belief Net：DBN）——其由一系列受限波尔兹曼机（Restricted Boltzmann Machine：RBM）组成，提出非监督贪心逐层训练（Layerwise Pre-Training）算法，应用效果才取得突破性进展，其与之后Ruslan Salakhutdinov提出的深度波尔兹曼机（Deep Boltzmann Machine：DBM）重新点燃了人工智能领域对于神经网络（Neural Network）和波尔兹曼机（Boltzmann Machine）的热情，才由此掀起了深度学习的浪潮。

提示：与前馈神经网络不同，RBM（受限波尔兹曼机）中的可见层和隐含层之间的连接是无方向性且全连接的。对比差异无监督训练是RBM的一个重要算法，包含了正向过程、反向过程和权值更新三个步骤，主要目标是使生成的数据与原数据尽可能相似，并通过对比两者的差异来调整权值更新：

其中，是学习速率。这样的网络可具备感知对输入数据表达程度的能力，而且尝试通过这个感知能力重建数据。如果重建出来的数据与原数据差异很大，那么进行调整并再次重建。

从目前的最新研究进展来看，只要数据足够大、隐层足够深，即便不加“Pre-Training”预处理，深度学习也可以取得很好的结果，反映了大数据和深度学习相辅相成的内在联系。此外，虽说非监督（如DBM方法）是深度学习的一个优势，其实深度学习目前最适合的是带监督的情况（也即需要用户手动地去标注大量的样本类别），例如带监督的CNN方法目前就应用得越来越多，乃至正在超越DBM。另一方面，递归神经网络（Recurrent Neural Network，RNN）在保留上下文信息（即考虑时间因素，比如理解长句子或整个文档需要前文的信息）方面有天然的优势，其中使用LSTM（Long Short Term Memory：长短时间记忆，通过引入元胞状态Cell State来避免梯度消失，以实现长期信息的记忆）单元的RNN网络获得了广泛应用，包括语音识别、语言建模、翻译、图像标注等等。值得一提的是，作为一种概率生成式模型，GANs（Generative Adversarial Networks，生成对抗网络）可很方便地用于真实数据分布的建模和生成，包括可以生成一些图像和视频，以及生成一些自然语句和音乐等。得益于内部对抗训练的机制，GANs可以解决一些传统的机器学习中所面临的数据不足的问题，因此适合应用在无监督学习、半监督学习、多视角、多任务学习的任务中。

2012年6月，《纽约时报》披露了Google Brain项目，吸引了公众的广泛关注。这个项目是由著名的斯坦福大学的机器学习教授Andrew Ng和在大规模计算机系统方面的世界顶尖专家Jeff Dean共同主导，用16,000个CPU Core的并行计算平台去训练含有10亿个节点的深度神经网络（DNN，Deep Neural Networks），使其能够自我训练，对2万个不同物体的1,400万张图片进行辨识。在开始分析数据前，并不需要向系统手工输入任何诸如“脸、肢体、猫的长相是什么样子”这类特征。Jeff Dean说：“我们在训练的时候从来不会告诉机器：‘这是一只猫’（即无标注样本）。系统其实是自己发明或领悟了‘猫’的概念。”

2014年3月，同样也是基于深度学习方法，Facebook的 DeepFace 项目使得人脸识别技术的识别率已经达到了 97.25%，只比人类识别 97.5% 的正确率略低那么一点点，准确率几乎可媲美人类。该项目利用了 9 层的神经网络来获得脸部表征，神经网络处理的参数高达 1.2亿。在2015年的ImageNet 物体识别挑战赛上，微软亚洲研究院的深度学习方法更是破纪录地利用了152层深度神经网络。

5.27.5  AlphaGo：深度学习与强化学习的结合

2016年3月，Google旗下英国公司DeepMind开发的具有自我学习能力的AlphaGo计算机程序，在与世界顶尖天才棋手李世石的五番围棋对决中以4:1取得完胜、2017年5月更是以3:0完胜围棋世界排名第一的柯洁，成为人工智能发展史上的里程碑事件。

之所以取得了如此辉煌的战绩，是因为AlphaGo将深度学习与强化学习这两者的精髓相结合，提出了深度强化学习——除了深度学习，机器学习还有一个重要的分支：强化学习（Reinforcement learning、RL，增强学习、再励学习）。

强化学习最早可追溯到生理学家巴甫洛夫的条件反射实验，关注的是一个能感知环境的自治的智能体（Agent，代理、主体、学习者）如何在环境中采取一系列行为，从而获得最大的累积回报。学习本质上是发现偏差的过程——通过试错、失败与再尝试，通过所谓的“强化学习”，幼儿通过跌倒学会行走，拳击手通过挨打学会防守，喜剧演员通过冷场改进段子。RL学习从环境状态到行为的映射（以便从环境中获得的累积回报值最大），我们把这个映射称为行为策略（Policy）。这实际上就是一个连续决策的过程，其特点是不给任何数据做标注，仅仅提供一个回报函数（Reward Function，奖励函数）来决定当前状态得到什么样的结果（比如“好”还是“坏”）。如果获得了较好的结果，那么我们给Agent（比如围棋AI程序）一些奖励（回报函数结果为正）；得到较差的结果，那么回报函数为负（惩罚）。

可以看出，强化学习和监督学习的区别主要有以下两点：

1．强化学习是试错学习（Trial-and-error），由于没有直接的指导信息（外部环境提供的信息很少），智能体要不断与环境进行交互，通过试错的方式来自主学习以获得最佳策略。也即我们并不直接告诉Agent要做什么或者要采取哪个动作，而是Agent通过看哪个动作得到了最多的奖励来自己发现。

2．延迟回报。强化学习的指导信息很少，而且往往是在事后（最后一个状态）才给出的。以围棋为例，我们往往并不知道下一步该下哪一个棋子，而是一系列的棋步组成的策略决定了是否能赢得比赛。下棋过程中唯一的反馈是在最后赢得或是输掉棋局时才产生的。这就导致了一个问题，就是获得正回报或者负回报以后，如何将回报分配给前面的状态。因而需要定义值函数（Value Function，又叫效用函数）来表明当前状态下策略π的长期影响（累积奖励）。

数学本质上来看，强化学习是一个马尔科夫决策过程（Markov Decision Process, MDP，其也具有马尔可夫性，但同时也考虑了动作，即系统下个状态不仅和当前的状态有关，也和当前采取的动作有关）。强化学习最终目的是让决策过程中整体累积的奖励函数期望最大化，即寻找能够最大化值函数的策略。求解最优策略包括动态规划法、蒙特卡罗方法、时序差分法（Temporal-Difference learning, TD learning，包括应用广泛的Q-learning算法）。

相比其他学习方法，强化学习更符合人类学习的模式，因此有望获得更高的智能，这一点在棋类游戏中已经得到体现。

5.27.6  大数据成就了深度学习

最后，我们再回到大数据这个时代背景上来。当坐拥海量的大数据，我们无论是做推荐系统还是3D模型检索（见章节“5.19  【3D智能十八篇之八】众里寻她千百度：海量3D模型的形状检索”），以前用简单的线性数学模型，一般也能获得还不错的结果。因此我们沾沾自喜起来，认为还是大数据更重要，而智能算法用简单直接的就OK了，不需要也没必要弄得很复杂。而当深度学习出现后，它的一系列辉煌战绩让我们意识到：也许是时候该“鸟枪换炮”了。

简而言之，在大数据情况下，也许只有比较复杂的模型，或者说表达能力强的模型，才能充分发掘海量数据中蕴藏的有价值信息。特别是，通过构建多层的深度网络，深度神经网络既无需采用分治策略去人为划分子步骤或子问题，也无需人为地将数据转换到某个高维或低维空间，而是直接地去学习从原始输入到期望输出的非线性映射，也即具备端到端（End-To-End）的学习能力，以获得更好的全局最优解。更重要的是，深度学习可以自动学习特征，而不必像以前那样还要请专家手工构造特征，极大地推进了智能自动化。

深度学习（即所谓“深度”）应大数据（即所谓“广度”）而生，给大数据提供了一个深度思考的大脑，共同引发了AI大时代浪潮的来临。特别是，深度学习为AI大模型提供了一个基础架构，可以说没有深度神经网络，就没有后来大模型的横空出世。具体请见下节的详细介绍。

【“AI哲学一吴怀宇”（中国科学院博士、北大博士后）作者主页：www.OpenDAI.org；邮件：huaiyuwu@sina.com 视频号/公众号：AI哲学一吴怀宇中国科学院（人工智能哲学）】

支持单位：