• 1. 研究背景及目的

在最大熵强化学习 (MERL) 的数学理论中，“探索与利用”的权衡本质上是一个复杂的非线性动态优化问题。作为该领域的经典架构，柔性动作评价 (SAC) 算法通过引入策略熵来拓展状态空间的探索深度。然而，标准SAC将温度参数α的调节建模为受约束的对偶优化问题，其本质是将策略熵约束在一个固定的水平。这种固定约束在数学上忽略了系统状态变换的实时反馈，导致训练初期探索受限、后期策略发生振荡。更关键的是，目前多数自适应改进方案均缺乏对非平稳 (动态变化) 温度参数下算法收敛性的严密数学证明。本研究的目的在于诉诸算子理论与不动点定理，攻克这一理论盲区。我们旨在为变温度参数下的柔性Bellman算子建立一个完备的理论收敛框架，定量推导温度参数与Q函数估计误差界之间的Lipschitz连续性关系。以此数学为基础，构造一种基于任务性能反馈的自适应温度调节机制，并从理论上严格证明该非平稳迭代序列能够渐进收敛至唯一不动点，从而在底层数学机理上破解最大熵强化学习的“探索－利用困境”。

• 2. 模型及结果分析

·变温度参数下的柔性Bellman算子性质证明：本研究首先放宽了标准最大熵强化学习中温度参数固定的限制，深入探究了柔性Bellman算子Tα的基础数学性质。通过严密的泛函分析，论文证明了该算子关于温度参数α满足Lipschitz连续性条件；在此基础上，进一步推导出最优软Q函数Qα与标准强化学习最优Q函数Q*之间的理论误差界，证明该误差上限与α呈严格的线性正相关关系：

·非平稳迭代序列的自适应调节机制与收敛性保证：为了使智能体在数学层面自主控制探索强度的演化，研究通过奖励解耦，利用相邻迭代步之间mini-batch平均任务优势函数的差值，构造了策略改进测度指标Δtask(t)。据此设计的自适应调节规则引入了饱和特性显著的双曲正切函数来动态更新α。论文从理论上严格证明了该单步更新幅值有界，且满足极限条件，从而在非平稳迭代序列下完美契合了算子渐进收敛的稳定性要求，保证软Q值序列能依概率收敛于唯一不动点。

·数值实验与收敛指标量化分析：在复杂动力学拓扑场景下的仿真验证表明，本研究所建立的理论框架具有极高的计算效率与稳健性。在收敛时效性方面，EA-SAC算法仅需288轮迭代即可达到收敛，相比于基线变体算法DSAC (357轮) 和RVI-SAC (411轮)，样本利用效率分别显著提升了约21.4%和30.9%。此外，在衡量策略抗噪与学习鲁棒性的标准化曲线下面积 (AUC) 指标上，EA-SAC取得了最高的0.77评分；面对极高密度的非线性动态博弈威胁，策略不仅展现出极佳的渐进平滑过渡特性，更保持了79%的高概率目标达成率，全面验证了自适应算子优化理论的正确性与工程实用价值。

• 3. 讨论与总结

消融实验明确验证了基于任务性能动态调整温度参数是加速策略形成并有效防止策略退化的关键因素。此外，泛化能力测试表明，面对训练中未见过的敌方预测性跟踪策略时，EA-SAC的自适应熵调整机制依然能有效应对环境分布偏移，保持极高的策略鲁棒性。总体而言，本研究成功克服了标准SAC在复杂无人机路径规划任务中的局限性，为最大熵强化学习的“探索－利用困境”提供了坚实的理论保证与创新的工程求解思路。

除了核心的自适应温度调节机制，本研究在网络架构创新与参数鲁棒性上也展现出了显著优势。首先，在网络设计层面，EA-SAC创造性地引入了一个独立于主Critic的Task-Critic网络。该网络排除了策略熵等辅助信号的干扰，仅专注于环境原始任务奖励的价值估计，从而实现了对“策略改进程度”更为纯粹和精准的量化。其次，研究将复杂的强化学习反馈信号巧妙解耦为“任务”与“安全”两个独立组件，使得智能体能更清晰地感知目标的完成进度与安全约束。最后，详尽的参数敏感性分析证实了EA-SAC算法极强的鲁棒性：无论初始温度值如何设定，自适应机制均能驱动策略收敛至一致的最优状态，这极大地降低了深度强化学习在实际部署中对调参的依赖，展现出极高的工程落地潜力。

• 作者介绍

通讯作者

邵新慧 教授（东北大学理学院）

研究方向：强化学习算法设计

阅读英文原文：https://www.mdpi.com/2227-7390/14/9/1487

• Mathematics 期刊介绍

主编： Francisco Chiclana, School of Computer Science and Informatics, De Montfort University, UK

期刊主题涵盖纯数学和应用数学所有领域，重点发表代数与逻辑、几何与拓扑、数学分析、统计与运筹学、应用数学，包括数学与计算机科学、控制理论与力学、数学生物学、数学物理、金融数学等数学在其他各学科应用的文章。现已被SCIE (Web of Science)、Scopus等重要数据库收录，连续8年稳居JCR Q1，JCR category rank: 28/492。

2025 Impact Factor：2.3

2025 CiteScore：5.4

Time to First Decision：17.4 Days

Acceptance to Publication：2.8 Days

期刊主页：https://www.mdpi.com/journal/mathematics

支持单位：