1 导读

本文提出了一种基于近端策略优化（PPO）强化学习算法的波浪能转换装置（WEC）非因果控制新框架。与依赖精确数学模型的传统模型基控制器不同，该框架完全无需建模，并利用短期波浪预测信息实时自适应调整控制增益。据作者所知，这是首次将非因果PPO方法应用于WEC控制。基于英国康沃尔海域实测海浪数据的仿真结果表明，与传统被动阻尼控制器相比，该方法在保持系统稳定运行的同时，最高可将发电量提升13.9%，并在波浪预测误差和模型不确定性条件下依然保持稳健性能。

全文开放获取，免费阅读、下载。欢迎分享！

Citation：Zhang Y, Zeng T, Wijaya V, et al. Proximal policy optimization–based noncausal control for wave energy conversion systems. Ocean, 2026, 2: 9470015.

DOI:https://doi.org/10.26599/OCEAN.2026.9470015 

2 背景介绍

海洋波浪能是一种能量密度高、潜力巨大的可再生能源，但受限于较高的度电成本，波浪能转换装置（WEC）尚未实现大规模商业化。为此，英国工程与自然科学研究理事会（EPSRC）于2020年发布《波浪能路线图》，提出到2035年将度电成本降至90英镑/兆瓦时的目标，这要求控制策略进一步革新。

学界普遍认为，WEC的最优控制本质上是一个"非因果"问题，即控制器需要依赖未来波浪信息才能实现最大发电量。早期的无功控制、闭锁控制、解锁控制等方法主要针对规则波有效，面对不规则海况往往表现欠佳；模型预测控制（MPC）等更先进的方法虽然能够利用波浪预测实现理论最优控制，但严重依赖精确的水动力学模型。而对介电弹性体发生器（DEG）、介电流体发生器（DFG）等具有强非线性、大变形特性的新型软体WEC装置而言，建立精确模型本身极为困难。

已有研究尝试将强化学习引入WEC控制，但多集中在Q-learning等基于价值的离散动作方法上，难以直接应用于WEC所需的连续控制场景。而以PPO为代表的策略梯度方法天然适合连续控制，且训练稳定、样本效率高，但此前尚未有研究将其与非因果控制、波浪预测相结合应用于WEC——这正是本文尝试填补的空白。

3 图文介绍

3.1 软体装置与建模难题

DEG和DFG是两类典型的软体WEC装置：DEG依靠介电弹性体材料的周期性大变形和电容变化发电，DFG则通过流体的充放电循环发电，二者结构灵活、优势明显，但动力学高度非线性，是典型的"难建模"装置，也正是本文方法的理想应用对象。

图1 软体WEC装置工作原理：(a) DEG的四阶段循环，伴随大幅弹性形变和电容变化；(b) DFG的充放电循环，伴随显著的体积变化。复杂的动力学特性增加了精确建模的难度。

3.2 PPO非因果控制方案架构

所提PPO非因果控制方案的整体架构如下：Actor-Critic神经网络根据WEC的实时状态和波浪预测输出动作，再由非因果控制器结合波浪预测计算出实时控制力，形成"感知—预测—决策—执行"的闭环。

图2 PPO实现中采用的Actor-Critic神经网络架构。

图3 所提PPO非因果控制方案总体架构：WEC系统与PPO智能体、非因果控制器、波浪预测模块构成闭环。

3.3 训练过程与仿真结果

不同波浪预测步数（np=1、3、5）下的训练过程表明：预测步数越长，训练所需回合数越少（分别在第85、170、121回合终止），且最终奖励值更高，说明更长的预测视野有助于加快学习并提升控制效果。

图5 PPO训练统计：(a) 不同波浪预测步数下的奖励演化曲线；(b) np=5时升沉位移-速度状态分布的等概率轮廓图；(c) np=5时控制输入u的分布直方图；(d) 时刻k的奖励地形图（散点为np=5最终训练回合的采样点，白色虚线为奖励正负分界线）。

将PPO控制器（np=1、3、5）与传统被动阻尼（causal）控制器在同一段真实海浪数据下对比：在满足升沉位移、速度、控制力约束的前提下，np=3和np=5情形下的发电量均高于传统方法，其中np=5最高提升13.9%，但代价是控制作动强度（control effort）有所增加。

图6 训练后的非因果PPO智能体（np=1、3、5）与传统被动阻尼基准控制器的仿真对比：(a) 升沉位移z；(b) 升沉速度ż；(c) 控制输入u；(d) 功率；(e) 累计发电量。

控制增益Kx、Kw随时间的变化进一步说明：Kx基本保持稳定，而Kw则持续动态调整，体现出PPO智能体依据实时状态在线学习"最优增益"的能力，而非收敛到某个固定值。

图7 训练后非因果PPO智能体（np=5）的增益变化：(a) Kx；(b) Kw。

3.4 鲁棒性评估

鲁棒性测试进一步检验了模型不确定性和波浪预测噪声（信噪比0–20 dB）对控制效果的影响，结果表明该方法在存在预测误差和模型失配的情况下依然能稳定发电。

图8 训练后非因果PPO智能体（np=5）在不同干扰强度与波浪预测信噪比条件下的发电量。

4 总结与展望

本文提出了一种基于PPO强化学习的WEC非因果控制新框架，将短期波浪预测融入强化学习过程，实现了控制增益的实时自适应调整，在满足升沉运动和作动力约束的前提下有效提升了发电量。基于英国康沃尔海域实测数据的仿真结果表明，采用较长预测视野（np=3、5）的方案相比传统被动阻尼控制器和np=1方案均有提升，其中np=5情形发电量最高提升13.9%，且训练收敛更快，但控制作动强度相应增大。鲁棒性测试进一步证明，该方案在模型失配和波浪预测噪声条件下仍能保持稳定运行。未来工作将聚焦于在dSPACE半实物仿真环境中开展硬件在环实验验证，并进一步考虑机械功率到电功率转换环节的影响。

5 作者简介

第一作者，张瑶博士

伦敦大学学院（UCL）机械工程系  讲师

（Lecturer in Marine/Maritime Digitalisation and Automation）

伦敦大学学院（UCL）机械工程系海洋数字化与自动化方向讲师。她担任《Ocean Engineering》（Q1）副主编，《IEEE Transactions on Industrial Informatics》（Q1）和《IET Generation, Transmission & Distribution》（Q2）编委，并担任IEEE英国与爱尔兰分会女性工程师协会（WIE）秘书及大使、IEEE英国与爱尔兰控制系统分会本地协调人。她主持及参与的代表性项目包括：EPSRC资助的UKOMAIN多模态人工智能与海洋转型项目（2025–2028，182万英镑）、Innovate UK及英国交通部资助的纽黑文港波浪与潮汐能电气化项目GREENPORTSIDE（2025–2026，39.96万英镑）、EPSRC及Rolls-Royce、Lloyd’s Register等产业伙伴联合资助的SONAIR仿真-实物机器人基准测试项目（2026–2027，5万英镑，另获产业伙伴20万英镑支持）、EPSRC英国清洁海事研究中心资助的W波段雷达里程计项目（2026–2027，5万英镑）、皇家学会资助的非高斯噪声下波浪能发电项目（2023–2025，1.2万英镑）、Wave Energy Scotland资助的新一代直驱式波浪能转换装置项目（2023–2024，5万英镑），以及作为共同研究者（Co-I）参与的Innovate UK/英国交通部资助的拖船电气化与自动化项目Tugbeam（2025–2026，67.5万英镑）、欧盟地平线欧洲（Horizon Europe）资助的港口可持续供电与充电项目SPARK（2026–2029，500万英镑）。她已为博士生争取超过30万英镑的产业资助，研究方向涵盖控制工程、海洋工程、可再生能源发电、自动化与人工智能、强化学习等，目前正招收感兴趣的博士生。

期刊简介

《海洋（英文）》（Ocean）是清华大学主办的英文开放获取期刊，基于清华大学出版社SciOpen平台出版发行，主编团队由挪威科技大学的Torgeir Moan院士、中国科学院的王中林院士、以及清华大学的张建民院士共同组成。《海洋（英文）》致力于发布海洋科学、海洋工程、海洋科技领域相关的最新研究进展，通过开放获取的出版模式提升成果传播速度与影响力，助力科研合作与创新，启幕海洋相关领域的学术新征程。

收稿范围包括但不限于：海洋生物学与海洋生物制药、海洋生物地球化学过程、海洋地球科学、海洋自然资源、大气与气象学、海洋污染与生态学、海洋化学、海洋数学、遥感、海洋声学与光学、海洋环境与预测、海洋自动化与机器人技术、海洋信息学与数字孪生、海洋灾害与防治、海洋采矿、近海与海岸工程结构、海洋岩土工程、水产养殖工程、流体力学、水动力学、海底工程等主题的研究论文、综述、快报、专家观点和研究亮点。

诚邀具有引领性、创新性和实用性的海洋领域相关文章的投稿！2028年底前投稿免APC！

期刊网址：www.sciopen.com/journal/3008-1203

投稿地址：https://mc03.manuscriptcentral.com/ocean 

联系方式：ocean@tup.tsinghua.edu.cn

支持单位：