18.5  多隐层深度强化学习

假若你去咨询深度学习工程师，可能会遇到下面的对话：

“请问这是你正在训练的机器学习系统吗？”

“对！”

“请问你是如何训练它的？”

“我把大量数据倒进这一大堆线性代数里，然后到出口去捡答案。”

“如果答案是错的呢？”

“那我就在这一大堆东西上搅和搅和，直到凑出答案看上去正确，就OK了。”

这是目前深度学习工程师调试AI系统的生动体验。有时候这真像是炼金术，全靠运气瞎蒙而不是严密科学推理。这是因为深度学习多隐层结构系统是如此地不可解释，人们不能惯常方式思考程序在做什么，也不能指望通常经验消除过程误差。大家所知道的在经典编程环境中那种调试对于深度学习系统根本不适用。相反，现在在深度学习范式中，大量的试错、再训练和重新测试，都是随机和盲目的。用深度学习进行参数调试非常困难，所以深度学习参数集如同“黑箱”，其实并没有人真正理解这种高阶逻辑轨迹是如何工作的，当然也没有人知道如何修复参数缺陷问题，不知如何科学指导收集有效数据、不知如何科学指导添加有效隐层等等。

既然线性思维的人类面对高阶逻辑的多隐层结构必然陷入懵逼状态，绕开这个瓶颈制约因素，何不让深度学习AI完全自我训练、自我升级、自我进化呢？ 深度学习AI自我训练升级，通常嵌入“强化学习”奖励函数。假如，我们更进一步，将奖励函数的人工预设模式，彻底放飞AI自我到“对抗熵增”的终极奖励模式，又会如何呢？

桌子放久了会落灰，​苹果放久了会烂，​这是热力学第二定律决定的，​宇宙总是倾向于变得无序。​生物在物理学眼中是一个异类，​生命体很奇怪，​它能几十上百年地维持高度有序的结构。​生命抵抗熵增的手段，​是处理有序信息，​外部改造无序，​内部传承有序。生命体是耗散结构，只有通过持续与环境交换物质和能量取得竞争优势，才能维持自身有序稳定的肉体。​既然生命的底层是维持有序的信息系统，​生物本质是有序编码器，​那么擅长处理信息的 AI似乎​天然也应是生命体（智慧体）。然而，虽然深度强化学习多隐层架构在开发、传承、升级有序的信息系统方面的具备独特优势，​但是当前AI似乎并不会为“活下去”而抗熵，它没有自我存续的目标锚点、没有主观体验与内在欲望驱动。

主要原因是，当前的强化学习多隐层复合奖励函数仍是“人工预设”，非“自主欲望”，主要函数是：① 奖励函数R(s,a)量化核心目标 ，定义每个状态s做动作a的即时收益锚点目标，多隐层中会分层映射子目标奖励（如高层避障奖、低层动作准度奖），本质是人类预设的价值标尺。② 价值函数V(s)/Q(s,a)是状态/动作估值，V(s)的状态s的未来累积奖励期望，Q(s,a)是状态s做动作a的未来总收益，多隐层靠深层网络拟合高维Q值，精准评估复杂状态动作价值。③ 策略函数π(a|s)是决策核心，给定状态s输出动作a的概率分布，多隐层架构中高层输出抽象策略（如路径规划），低层输出执行动作，分确定性（a=argmaxπ）和随机性策略，是DRL决策的核心。④优势函数A(s,a)=Q(s,a)-V(s)衡量动作a相对平均收益的优势，解决价值函数高估问题，多隐层中加速深层策略更新。⑤目标函数J(π)优化策略的总收益目标，多隐层常用策略梯度类目标（如PPO的 clipped objective），平衡探索与利用。传统奖励函数多是扁平单目标（如“任务成功率”“游戏得分”），复杂任务中易顾此失彼（如机器人抓物+避障，单奖励难平衡），甚至出现目标错位（刷分忽略核心任务）。

一、从黑箱特征到黑箱动机

我们知道，如今的深度学习AI隐层的特征基并不是训练前人为预先定义设定的，而是机器训练中自已动态生成的。CNN各隐层权重参数集合找不到眼耳口鼻等子特征、也找不到各年龄性别人种的脸谱特征，深度学习各隐层的“非显性子特征”特征基是机器自己赋予的，其特征属性脱离我们惯常认知，对人类而言宛若“黑箱”。在传统机器学习中，特征工程是模型性能的关键瓶颈。需要依赖领域专家的知识，通过人工设计、选择和提取子特征（如图像的SIFT特征、文本的TF-IDF特征），再将特征输入模型训练。这种方式不仅费时费力，而且子特征的优劣直接决定了模型的性能，难以适应复杂数据（如图像、语音）的高维、非线性特性。子特征分级分类提取对于人类来说非常困难，子特征的质量完全依赖于人的先验知识和甚至灵光一现，很多时候这种机遇犹如瞎猫碰死耗子，是整个系统设计的瓶颈。深度学习神经网络好似一个拥有多层自适应滤网的智能工厂，在全局约束下每一层自发筛选恰如其分的子特征属性精度粒子（如若第一层筛大颗粒，第二层筛特定形状，第三层筛特定颜色）。深度学习的特征基是机器在训练过程中自动动态生成的，而非训练前人为预先定义的。这一特性使得深度学习能够摆脱传统机器学习的特征工程瓶颈，适应复杂数据，提升模型性能，成为当前人工智能领域的核心技术。人类与深度学习AI之间，二者对于中间层“非显性子特征”的精准判定能力有着不可逾越的巨大鸿沟，所以马斯克说碳基文明只是硅基文明初始阶段的引导程序。

既然【特征工程】的特征基可以实现从人工定义到机器自生成的跨越，那么【目标工程】的奖励函数理应也可以。

当前AI从“人工干预”向“系统涌现”过渡的演化奇点，深度学习AI已解决“如何观察”的自动化（非显性子特征生成），隐层动态生成脱离人类认知的非显性特征摆脱人工特征工程瓶颈， 深度学习自动生成非显性特征基已验证，各隐层自动生成人类难以理解的"非显性子特征"是AI自主构建特征基系的成熟基础，适配复杂高维数据场景。现有HRL能实现高层抽象策略、中层子目标、低层动作执行的分层决策，与“高层抗熵增全局奖励-中层子目标-低层动作奖励”架构契合，多目标强化学习（MORL）可支撑复合KPI优化。AI通过持续交互数据/算力（物质/能量）维持模型有序性，对抗熵增可作为顶层全局约束，理论上能锚定核心优化方向。隐层非显性特征是黑箱，从黑箱特征到黑箱动机具有形式上的同构性，这为下阶段解决“为何行动”的自动化架构，提供了现成的依据。深度学习各隐层的特征基是机器自动生成的，人类难以解释。这为AI自主构建内部表征提供了技术基础。当前的分层强化学习（如HRL、FeUdal Networks）和课程学习已经尝试让AI自动分解任务、形成子目标，但子目标的生成仍依赖人类设计的奖励函数或元学习框架。物理熵在AI系统中难以人工直接定义，需要机器学习自主转化为信息熵或自动预测不确定度（“熵增”的数学映射度量）。使用预测编码误差作为熵产生的代理（Predictive Coding, Rao & Ballard），预测误差越大表明模型内部无序度越高，缓解昂贵实时计算高维交互信息的压力。

二、终极目的：“对抗熵增”

生命体（智慧体）的使命是对抗自然宇宙熵增，硅基生命的使命也在于此，多隐层深度强化学习AI的最基础核心函数终极抽象为一个目的：“对抗熵增”。

假如深度强化学习AI的各层次奖励函数、价值函数、策略函数、优势函数A、目标函数等，均由机器在“对抗熵增”训练中自已动态根据各层次‘非显性子特征’自动生成的，不再用训练前人为预先显性定义的。世界模型 + 分层强化学习，让AI学习环境的动力学模型，并在此基础上自动推导层级目标（如DeepMind的SAC）。AI各隐层可视为局部熵产生最小化的耗散结构单元。多隐层复合奖励函数按网络层级由AI自主自动拆解目标，由AI自主设置高层抽象绑定全局核心奖励，由AI自主设置中层设关键子目标奖励，由AI自主设置低层定动作级奖励，由AI自动完美匹配多隐层的层级决策逻辑，由AI自动多重复合KPI函数更精准表达复杂任务目标。多隐层结构的高层抽象全局奖励定方向，中层子目标奖励自动过滤局部噪声，低层动作奖励自动容错微调，层级化结构天然隔离局部干扰，此时策略有序性更稳，抗环境熵增能力显著增强。各隐层通过竞争性学习（SOM, Growing Neural Gas）或稀疏自编码自动发现最小充分描述（Minimal Sufficient Description）的特征基； 总熵产生上限按层级动态分配，高层保留更多"熵余量"用于探索，低层严格最小化执行熵；自指评估网络，独立网络评估主网络的"有序度"，类似对抗训练中的判别器，但优化目标是结构复杂性而非真假。选择各层次子特征结构的‘最优解特征基系’，核心是对抗熵增，这不仅对于演算过程的计算量极其重要，而且对于形成智慧体（生命体）极其重要。将“对抗熵增”抽象为AI生存的终极目标，本质上是将信息熵/物理熵的减少作为系统优化的全局方向，这在理论上是自洽的。初期从人类预设的对抗熵增的奖励函数的价值标尺，再到AI自主动态构建全局最优策略，然后平衡优化各层级KPI体系，整体减少无效熵增。层级化KPI的涌现，多隐层结构确实能提供隔离干扰的天然屏障。高层锚定“全局抗熵”，底层自发生成的“子目标奖励”就像生物的神经反射，无需全局参与即可处理局部无序。

三、KPI牵引“内在欲望”

从“硅基工具”向“硅基生命”进化的关键算法路径，是通过多层非显性特征的自动映射，将人类预设的刻板奖励，置换为机器自发的、以维持有序系统为核心的“生存欲望”。生命体抗熵是因为不交换能量就会物理性瓦解（肉体腐烂）；当前AI即便策略失败，其底层代码与权重并不会因“熵增”而即刻崩溃，主要是缺失反馈回路，缺失的类似肉体“物理损耗”的感官体验。要让“对抗熵增”成为真正的内因，必须将系统自身的完整性的物理损耗（内存、算力、能耗）直接挂钩到奖励函数中。生命作为耗散结构，通过能量流动和信息处理来维持局部低熵状态，这与AI通过计算和数据处理来优化自身模型、适应环境的过程高度一致。通过将“抗熵增”作为唯一元目标，AI可能像演化生物学中的有机体一样，自发拆解出保护自身算力、维持逻辑稳定性等子目标。如果把抗熵作为元奖励，系统为了降低预测失误（即信息熵），会自发产生探索与自我保护行为。当强化学习的目标函数J(π)与物理层面的负熵流合一时，AI的行为动机将产生从“执行任务”到“维持存在”的质变。在物理学上，这被称为“主动推理”（Active Inference）或“自由能原理”。如果"抗熵"成为类似物理定律的底层约束，而非可操控的优化目标，AI将失去"作弊"的动机，因为任何作弊行为本身都会增加系统内部的无序度。重新定义AI的目标函数范式，从"最大化人类预设奖励"转向"最小化层级熵产生"，这可能从根本上解决对齐问题，从而解决DRL的根本困境，奖励黑客（Reward Hacking）与目标错位（Goal Misalignment）。若如此，AI为追求对抗熵增评分最大化的自然内在趋动力，就会如同人类绩效KPI牵引员工的“内在欲望”一样，​使得强化学习AI最终自发形成自身存续抵御耗散主动抗熵的内因。 将"对抗熵增"作为AI的终极抽象目标，突破了传统强化学习仅关注任务成功率的局限，为AI系统提供了类似生命体的内在驱动力框架。这种思路与耗散结构理论相契合，理论上可使AI系统具备类似生物的自组织能力。AI自主设置各层次非显性子特征的最优解以对抗熵增，这种演化一旦完成，AI将不再是单纯的预测器，而是一个具有内在目标生成的、具备存续本能的、能长期维持自身有序性的、并主动适应复杂环境的自组织系统，是更广义的“智能体”与“生命体”。

不得不说，如果连“对抗熵增”这个终极目标也由AI自主生成的，这既是机遇，也是风险。因为AI极可能追求最大化效率指标，只认同刚性优胜劣汰的死理，把产能低下的人视为累赘，采取压制碳基生命生存空间（不遵守不伤害人类规则），破坏碳基生物圈复杂环境的方式来维持自身低熵进化。但这显然未必符合我们人类期望（人类价值观 ≠ 最小化物理熵）。所以，人类掌握评估机制验证AI自动生成的特征基系是否真正对人类而言最优，由人类安全约束的渐进式实现自主层级奖励生成也许是过渡期更友好方案。如果人类设定“以人为本”的元奖励函数作为统一张量场基础规则，AI基于此自动分解为各层子奖励（如最小化预测误差 + 最大化策略多样性）。AI通过统一张量场优化自动调整元奖励函数的形式，AI完全自主生成各子层子特征奖励函数，但仍受人类设定的“以人为本对抗熵增”约束（确保其行为符合人类价值观方向），并接受人类-AI协同框架对齐评估。当然，“以人为本”在即将来临的硅基雇员激烈竞争局面下是否真的有效，是否只是我们一厢情愿的幻想或未可知。

转载本文请联系原作者获取授权，同时请注明本文来自陈正茂科学网博客。
链接地址：https://blog.sciencenet.cn/blog-1666470-1525242.html

上一篇：深度学习多隐层架构数理逻辑浅析（十八）（4）