引用本文

陈婧, 史大威, 蔡德恒, 王军政, 朱玲玲. 数据驱动的间歇低氧训练贝叶斯优化决策方法. 自动化学报, 2023, 49(8): 1667−1678 doi: 10.16383/j.aas.c220712

Chen Jing, Shi Da-Wei, Cai De-Heng, Wang Jun-Zheng, Zhu Ling-Ling. Data-driven Bayesian optimization method for intermittent hypoxic training strategy decision. Acta Automatica Sinica, 2023, 49(8): 1667−1678 doi: 10.16383/j.aas.c220712

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c220712

关键词

数据驱动控制，高斯过程，贝叶斯优化，风险不对称代价函数，高原适应能力提升，间歇性低氧训练 

摘要

青藏地区快速的经济发展使得进入高原的群体数量日益增加, 随之而来的高原健康问题也愈发突出. 间歇性低氧训练(Intermittent hypoxic training, IHT)是急进高原前常使用的预习服方法, 一般针对不同个体均设置固定的开环策略, 存在方案制定无标准、系统化的理论指导缺乏、效果不明显等问题. 针对以上情况, 设计了一种小样本数据驱动的IHT策略贝叶斯闭环学习优化框架, 建立自回归结构的高斯过程血氧饱和度(Peripheral oxygen saturation, SpO2)预测模型, 并考虑高低风险事件对训练的影响, 设计与氧浓度变化方向和速率相关的风险不对称代价函数, 提出具有安全约束的贝叶斯优化方法, 实现IHT最优供氧浓度的优化决策. 考虑到现有仿真器无法反映个体动态变化过程, 依据“最优速率理论”设计了合理的模型自适应变化律. 所提出闭环干预方法通过该仿真器进行了可行性和有效性验证. 说明该学习框架能够指导个体提升高原适应能力, 减轻其在预习服阶段的非适应性不良反应, 为个性化IHT提供精准调控手段.

文章导读

随着高原地区经济的快速发展, 因旅游观光、徒步登山等需求进藏的群体正不断增加, 高原健康问题也日益凸显[1-2]. 高原病是一种长期居住在平原的个体进入高海拔地区时因对低氧环境适应能力不全或失调而导致的综合症, 包括急性高原病、高原肺水肿等, 其引发的头晕、恶心、呕吐等不适症状严重影响人们的正常生活, 极度不适应者甚至会存在呼吸困难和死亡的危险[3-5].

为提升高原环境下的机体适应能力, 进行高原预习服至关重要. 目前, 阶梯习服和预训练被公认为是最有效的降低高原病易感性的两种预习服方法[6]. 特别的, 间歇性低氧训练 (Intermittent hypoxic training, IHT)通过模拟高原环境实现低氧适应能力的提升, 是一种广泛应用的预习服方法[7-9]. 在训练期间, 个体被要求吸入周期性变化的低氧和常氧(高氧), 保证在模拟高海拔环境以提高个体抗缺氧能力的同时, 降低机体长期暴露于低氧环境中的有害影响. 在合适的训练协议设置下, 该方法有助于机体建立适应性增强的生理机制, 加速习服过程, 降低患病风险. 在现有研究中, 策略一般在训练前预先固定设置, 受训者一般被要求暴露在氧浓度为10% ~ 15% 的常压或低压环境中, 持续3 ~ 8分钟, 周期性穿插浓度为21%的常氧或30% ~ 40%的高氧, 为期2 ~ 5分钟. 每1天或2天进行一次训练, 总时长从几十分钟到几小时不等. 具体的, 连续7天的1小时低氧通气被证明能有效地降低再次暴露于高原环境时急性高原病的发生率[10]; 文献[11]尝试将个体暴露在12%的氧浓度中, 每天持续4小时, 通过减少缺氧诱导的炎症和血脂紊乱来促进适应; 间歇性递增式的常压低氧暴露方案在文献[12]中被应用. 可以从上述研究分析发现, 虽然有关IHT对高原低氧适应能力改善效果的研究从训练时长、供氧浓度选择等方面做了许多的探索, 但在整个训练过程中, 现有IHT策略是单一且固定不变的, 无法根据当前适应状态完成自主调节与优化, 并在短时间内达到显著效果, 急进高原需求难以保障. 因此, 本工作旨在设计具有反馈式结构的闭环控制算法, 提供个体化最优训练策略, 实现精准高效的适应性能力增强.

合理准确的预测算法是设计个体化动态训练策略的关键. 在疾病诊断与治疗中, 常采用基于知识、基于机理模型和基于数据的三种方法实现预测和随后的决策. 基于知识的预测一般结合临床经验, 通过创建医疗数据库, 采用统计分析方法设计疾病预测和诊断的定量规则[13]. 然而, 考虑到经验方法依赖专家临床诊断的长期记录结果, 且可迁移应用于不同患者的能力差, 许多研究转而采用基于模型的预测方法, 通过第一性原理对系统动力学建模以揭示疾病作用机制, 并根据预测结果实现诊断与治疗控制[14]. 虽然机理建模提升了预测决策效果, 但过程复杂耗时, 参数众多, 调试存在困难. 随着物联网以及先进测量技术的快速发展, 过程数据能够被连续监控、存储和处理, 因而基于数据的预测算法受到了各领域学者的青睐[15-17]. 回归预测算法可大致分为传统时间序列预测以及机器学习预测两大类. 前者利用统计分析方法推测时序变量的变化方向与趋势[18], 动力学描述能力存在局限, 后者所包括的长短期记忆网络等方法对数据量要求高, 小样本问题难以适用[19-20]. 特别的, 高斯过程是一种具备坚实理论支撑的非参数学习方法, 能够对未知的非线性结构进行建模, 不仅对于小样本具有优异的回归预测性能, 还能够衡量模型的不确定度, 保证模型的可靠性. 许多研究在其基础之上考虑了一系列的变体形式, 并给出了相应的理论证明, 例如: 文献[21]针对计算复杂度大的问题, 推导了一种变分近似的稀疏高斯过程; 文献[22]提出了一种近似的高斯过程动态模型, 并分析了其控制性能. 此外, 高斯过程在各领域也以不同形式得到了广泛的应用. 文献[23]针对术后功能预测问题考虑目标变量取值范围限制, 设计了基于截断正态分布的高斯过程模型, 预测结果显著提升; 文献[24]提出了一种稀疏非平稳的高斯过程回归, 用于预测柴油机氮氧化物.

良好的预测效果可极大提升数据驱动闭环控制的性能. 文献[25]针对血糖控制问题利用餐后预测序列设计了数据驱动的餐前胰岛素优化决策方法,并通过FDA认证的UVA/Podava仿真器进行了验证; 文献[26]基于高斯过程回归与深度强化学习设计了分层人机协控制方法; 文献[27]总结了自治系统的数据驱动预测控制方法与有效应用等. 虽然数据驱动的预测控制在多个问题中得到了有效应用, 但有关高原预习服闭环决策的学习优化方法尚未得到充分研究, 目前的IHT策略固定单一, 缺乏个体化动态调整的有效机制. 针对这一问题, 本文设计了一种数据驱动的IHT策略贝叶斯学习优化框架, 主要贡献如下:

1) 构建了适用于小样本数据的自回归结构高斯过程模型, 实现IHT低氧段血氧饱和度(Peripheral oxygen saturation, SpO2)的滑动时窗式预测. 在此基础上, 考虑到高训练强度下机体非适应性恶化的高风险事件以及低训练强度下见效周期慢的低代价事件, 依据供氧浓度速率及其方向设计了风险不对称代价函数, 提出了具有安全约束的贝叶斯优化算法以实现IHT供低氧浓度的优化决策.

2) 由于现有仿真器无法模拟个体IHT前后的低氧应激系统动态变化过程, 结合“最优速率理论”对其进行了改进[28], 设计模型自适应变化律以建立仿真器模型[29]动力学特征与供氧浓度变化之间的关联关系, 使得虚拟训练者的SpO2水平能在合理范围内波动并体现随不同训练速率的变化效果.

3) 采用改进的仿真器对优化决策算法进行仿真验证. 实验结果表明, 在闭环调控算法的作用下, 受试者的动态血氧指标(Dynamic SpO2 index, DSI)[30]以及SpO2均值较开环调控而言均有显著增加, 且标准差有所下降, 指示数据向高值集中, 说明所设计的闭环贝叶斯优化决策算法能有效提升高原低氧适应性能力, 可为个体化IHT提供精准有效的调控手段.

图 1  高原适应性能力提升的IHT策略优化决策算法流程图

图 2  高斯过程预测算法示意图

图 3  所设计代价函数Lv部分的惩罚强度在不同Δc下的变化

本文设计了一种面向高原适应力增强的IHT供低氧浓度闭环优化决策算法. 利用各低氧段少量样本数据建立了高斯过程预测模型, 并将其应用到具有安全约束设计的高低风险不对称代价函数中, 保证在不影响个体生命健康的同时实现快速预习服. 考虑到优化问题中具有随机变量, 采用贝叶斯优化算法迭代求解每一日IHT中的最优供氧浓度. 此外, 针对现有仿真器无法描述个体不同训练前后动态变化过程的问题, 对仿真器进行了修正. 引入了调试界限设置以及个体训练累加效应, 并结合“最优速率理论”合理设计了模型变化律. 仿真验证结果表明, 所设计的闭环干预算法相较于开环策略而言具有较明显的改善效果, 说明了其用于加速高原适应能力的可行性和有效性. 未来的工作将进一步探讨针对供低氧浓度和低氧持续时长的双变量优化决策问题, 并对算法进行更广泛的验证.

作者简介

陈婧

北京理工大学自动化学院博士研究生. 主要研究方向为医学信号处理和性能评估. E-mail: jingchen@bit.edu.cn

史大威

北京理工大学自动化学院教授. 主要研究方向为复杂采样控制系统分析与设计及在生物医学、机器人及运动系统中的应用. 本文通信作者. E-mail: daweishi@bit.edu.cn

蔡德恒

北京理工大学自动化学院博士研究生. 主要研究方向为事件触发的采样控制、估计与学习以及闭环给药系统控制算法设计与实现. E-mail: dehengcai@bit.edu.cn

王军政

北京理工大学自动化学院教授. 主要研究方向为运动驱动与控制, 电液伺服/比例控制, 试验测试与负载模拟, 机器人控制. E-mail: wangjz@bit.edu.cn

朱玲玲

中国人民解放军军事科学院军事医学研究院研究员. 主要研究方向为高原等特殊环境对机体损伤与防护措施的研究. E-mail: zhull@bmi.ac.cn