博文

2025年度优秀论文奖 | 燃料电池混合动力汽车深度强化学习能量管理优化

已有 1040 次阅读 2026-9-4 15:12 |个人分类:论文推荐|系统分类:博客资讯

编辑荐语

本期将给大家分享2025年度优秀论文奖获奖文章"燃料电池混合动力汽车深度强化学习能量管理优化(Energy management optimization of fuel cell hybrid electric vehicle based on deep reinforcement learning)". 如您对本期相关内容有好的理解与建议, 欢迎评论区留言.

文聚焦于燃料电池/锂电池/超级电容三源混合动力汽车商业化面临的两大核心阻碍 —— 氢耗成本偏高与多能量源性能快速退化, 提出了一种模糊功率分层 + 改进双深度Q学习的一体化能量管理优化方案. 研究首先依托超级电容高功率密度特性搭建模糊自适应滤波功率分层架构, 分离车辆峰值冲击功率以降低算法计算负担, 同时依托燃料电池电压退化经验模型与锂电池半经验容量损耗模型构建多源退化成本函数, 结合等效消耗最小思路统一量化氢耗与能量源老化带来的整车运行开销, 为多目标优化建立统一奖惩指标. 在此基础上, 创新性地改进双深度Q学习算法, 引入软更新机制缓解目标网络参数突变问题, 搭配排序型优先经验回放提升离线训练收敛速度, 同时构建需求功率马尔可夫转移矩阵完成数据驱动策略训练, 有效规避传统深度Q网络过估计缺陷. 马尔可夫决策过程建模与多约束奖惩函数从理论层面平衡燃料经济性与能量源寿命损耗, 保障优化目标全局可行. 依托Python-TensorFlow训练框架与ADVISOR仿真平台, 在WLTC / UNIF01 / UDDS等多类典型行驶工况下开展对比仿真, 充分验证了所提分层功率分配与改进强化学习策略的综合性能优势. 本工作为多储能燃料电池混合动力汽车兼顾用车成本与储能寿命的能量管理提供了数据驱动智能优化新范式, 对推进氢能商用车、乘用车规模化落地具备重要工程参考意义.

论文介绍

燃料电池混合动力汽车深度强化学习能量管理优化

Energy management optimization of fuel cell hybrid electric vehicle based on deep reinforcement learning

王浩聪1, 王栎阳1, 付主木1,2†, 陈启宏3, 陶发展1,2

机构: 1. 河南科技大学信息工程学院; 2. 河南省机器人与智能系统重点实验室; 3. 河南省机器人与智能系统重点实验室

引用:

王浩聪, 王栎阳, 付主木, 等. 燃料电池混合动力汽车深度强化学习能量管理优化. 控制理论与应用, 2024, 41(10): 1831 – 1841

DOI: 10.7641/CTA.2023.20468

全文链接:

http://jcta.alljournals.ac.cn/cta_cn/ch/reader/create_pdf.aspx?file_no=CCTA220468&flag=1&journal_id=cta_cn&year_id=2024

摘要

针对配备有锂电池与超级电容的燃料电池混合动力汽车, 为降低车辆总体运行成本, 延长能量源寿命, 本文提出一种基于深度强化学习的能量管理策略. 首先, 依据超级电容高功率密度特性,建立基于模糊自适应滤波的功率分层结构, 并依据燃料电池与锂电池的经验退化模型, 建立能量源退化的成本函数, 采用等效消耗最小策略平衡氢耗成本与能量源退化成本, 以最小化总体运行成本为目标来优化能量源功率分配; 然后, 引入优先经验回放与软更新以提高深度强化学习的离线训练效率; 最后, 在多种工况下进行仿真, 结果表明, 与未考虑退化的策略相比, 本文所提出策略在全球统一轻型车辆测试循环下可使氢耗量降低11.8%, 并可有效减缓燃料电池与锂电池的退化速率, 降低燃料电池混合动力汽车的总体运行成本.

引言

随着空气污染､温室效应及能源危机问题日益严峻, 新能源汽车成为现代汽车工业发展的趋势. 燃料电池混合动力汽车(fuel cell hybrid electric vehicle, FCHEV)凭借其零排放､高能量转换效率､低噪声等优势成为最具研究前景的新能源汽车之一[1–4].然而, 燃料电池和锂电池的耐久性问题不容忽略[5–8], 车载环境下能量源较高的寿命衰减速率和换电成本, 已成为燃料电池混合动力汽车商业化的主要障碍. 可靠的能量管理策略可以有效延长FCHEV的能量源寿命, 并提高燃料经济性与整车动力性[9–12].

FCHEV的能量管理策略依据实现方式分为基于规则､基于优化和基于学习3类[13]. 基于规则的策略可分为确定性规则[14–15]和模糊逻辑规则[16–17], 具有设计方便､计算简单､实用性较高等优点. 但规则的设计高度依赖专家经验, 且预先设定的规则很难在复杂多变的工况下实现最优决策. 基于优化的策略分为全局优化策略和局部优化策略, 经典的全局优化策略有动态规划[18]和遗传算法[19], 局部优化策略包括等效消耗最小策略[20]､模型预测控制[21]与庞特里亚金最小值[22]. 全局优化策略具有统筹性, 可获得全局最优解, 但计算量大, 不具有实时性. 局部优化策略有实时应用的潜力, 但瞬时优化的结果无法保证策略最优.

近年来, 随着人工智能算法的快速发展, 基于学习的方法受到广泛关注, 其中强化学习作为学习能力强､适应性强､计算资源消耗少的算法, 被证实适用于探索FCHEV能量管理问题的最优策略[23–25].

文献[26]针对配备有锂电池与超级电容的FCHEV, 设计分层能量管理来缩小状态空间. 然后, 提出基于强化学习的等效消耗最小策略, 降低计算成本, 提升燃料电池效率, 减少氢耗量. 考虑到强化学习无法应对高维数据引发的“维数灾难”, 文献[27]设计了基于深度强化学习的能量管理策略, 采用具有优先经验回放的深度Q网络, 实现氢耗量最小, 并将燃料电池系统退化纳入目标函数, 平衡燃料经济性与燃料电池退化.

深度Q学习方法在FCHEV能量管理策略的研究中取得了一定成功, 但依然存在需进一步解决的问题. 一是深度Q学习在选择动作和评估动作时使用相同网络, 将导致过估计现象, 对策略的性能产生负面影响. 针对此问题, 文献[28]提出了基于双深度Q学习的能量管理策略, 应用于双电机混合动力电动履带车辆, 取得优于深度Q学习的燃油经济性; 二是现有的基于深度强化学习的能量管理策略侧重于降低氢耗量, 未充分考虑燃料电池与锂电池性能退化对能量管理策略的影响机理; 三是深度强化学习的训练过程通常缓慢且收敛性难以保证, 而本文所研究的配备有超级电容与锂电池的FCHEV具有复杂多变的动态拓扑结构, 这将给策略在计算效率与收敛性方面带来巨大挑战.

基于此, 本文提出了一种考虑能量源退化的双深度Q学习FCHEV能量管理策略. 首先, 采用基于模糊控制的自适应滤波器分离超级电容所应承担的峰值功率部分, 实现对需求功率分层并减轻计算负担; 其次, 构建综合考虑燃料电池､锂电池退化因素与燃料经济性的奖惩函数, 实现对能量源的寿命及燃料经济性的多目标优化, 并采用软更新技术与优先经验回放机制对双深度Q学习网络进行改进; 最后, 在多种循环工况下进行仿真, 证明所提出的能量管理策略能有效延长燃料电池与锂电池的使用寿命, 提高FCHEV的燃料经济性.

微信截图_20260723153934.png

微信截图_20260723154014.png

结论

1) 以延长FCHEV的能量源寿命和减少总体运行成本为目标, 设计了综合能量源退化成本与氢耗成本的奖惩函数, 在基于模糊滤波的功率分层结构基础上, 构建考虑能量源退化的深度强化学习能量管理策略.

2) 采用概率转移矩阵对FCHEV的下一时刻状态预测, 引入优先经验回放和软更新方法, 改善策略的离线学习效率和网络收敛性.

3) 通过在多种工况下的对比仿真, 证明所提出能量管理策略能提高燃料电池工作效率和输出稳定性, 有效减缓燃料电池及锂电池的退化速率, 延长燃料电池及锂电池的寿命, 在WLTC下与未考虑能量源退化的策略相比, 氢耗量减少了11.8%.

作者简介

王浩聪硕士研究生, 目前研究方向为燃料电池混合动力汽车能量管理､深度强化学习;

王栎阳硕士研究生, 目前研究方向为目前研究方向为非线性系统的自适应控制;

付主木教授, 博士生导师, 目前研究方向为混合动力汽车系统建模､模式切换控制算法设计;

陈启宏教授, 博士生导师, 目前研究方向为新能源电力变换与控制和车用新能源动力装置与控制;

陶发展副教授, 硕士生导师, 目前研究方向为非线性系统的鲁棒控制､强化学习､能量管理.

期刊介绍

《控制理论与应用》(Control Theory & Applications)是经国家科学技术部批准, 教育部主管, 由华南理工大学和中国科学院数学与系统科学研究院联合主办的全国性一级学术刊物, 1984年创刊, 月刊, 国内外公开发行. 《控制理论与应用》是中国科学引文数据库首批统计源期刊之一，中文核心期刊，入选中国精品科技期刊顶尖学术论文F5000项目，中国科协自动化学科领域高质量科技期刊目录以及中国科协百篇优秀科技论文遴选计划，2021年入选广东省高质量科技期刊建设项目，2022-2024年连续获得基金委资助（科技活动专项）。

期刊封面2.jpg 目录2.jpg