摘要

在包含办公、住宿、餐饮和训练等不同功能建筑的建筑群中，各建筑的使用时间、热惯性和供热需求存在明显差异，传统基于固定权重的供热负荷分配方法难以同时兼顾建筑群整体节能与室内热环境需求。

针对这一问题，本研究提出了一种自适应加权多目标强化学习（Adaptive-Weighted MORL）框架，将近端策略优化算法（Proximal Policy Optimization，PPO）与非支配排序遗传算法 II（NSGA-II）相结合，实现异质建筑群供热负荷的动态协同分配。PPO根据气象、时间和室内温度等状态信息学习长期供热分配策略，NSGA-II则搜索供热负荷与室内温度满意度之间的Pareto最优解，并进一步用于动态调整强化学习奖励函数中节能与舒适目标的权重。由此，控制策略能够根据环境变化和不同建筑的实际需求，自适应改变优化重点，而不再依赖预先设定的固定权重。该框架的核心即为根据建筑类型、环境状态和供热特征动态调节供热负荷与室温控制目标之间的权重关系。

研究基于天津某研究机构实际地源热泵供热系统开展验证，系统包含训练馆、办公楼、宿舍和餐厅四类功能差异明显的建筑，总空调面积为11,690 m²。 结果表明，与单一PPO方法和传统固定权重方法相比，所提出方法可实现22.1%的整体节能率，峰值供热负荷降低超过40%，同时大多数建筑的室内温度满意率保持在91%以上。在峰值负荷等极端工况下，其峰值削减率达到39%，单日节能率达到22.2%。

研究表明，通过将强化学习的时序决策能力与多目标优化的Pareto权衡能力相结合，可以根据不同建筑及环境条件动态调整供热策略，为异质建筑群实现节能、削峰与室内热环境协同优化提供一种新的智能控制思路。

01 研究背景

同一个建筑群中的建筑，真的应该采用同一种供热策略吗？

实际建筑群往往同时包含办公楼、宿舍、餐厅、体育或训练建筑等多种功能类型。不同建筑在使用时间、人员密度、热惯性以及对室外环境的响应方面存在显著差异。例如，宿舍具有全天连续供热需求，而餐厅的主要热需求集中在就餐时段；办公建筑又受到工作时间和室外天气变化的共同影响。因此，即使面对相同的室外气象条件，各建筑的合理供热负荷也并不相同。

本文案例中的四类建筑就具有明显不同的运行规律：训练馆和办公楼主要在日间使用，宿舍具有全天热环境需求，而餐厅的主要使用时间集中在就餐时段；论文因此将不同建筑的运行时间和室温需求分别纳入控制约束。

传统建筑群供热优化往往需要事先设定节能和舒适目标之间的权重。然而，当室外温度、太阳辐射、人员使用规律或建筑负荷发生变化时，一组固定权重很难始终保持合理：过度强调节能可能造成室内温度下降，而过度强调舒适又可能带来额外能源消耗。

因此，本研究关注的核心问题是：

能否让供热控制系统自己判断，在不同时间、不同天气和不同建筑条件下，“节能”和“舒适”究竟应该各占多大权重？

02 核心内容

（1）针对传统方法依赖固定权重、难以适应天气变化及不同建筑热需求的问题，研究构建了自适应加权多目标强化学习（Adaptive-Weighted MORL）框架。该框架主要包括环境感知、状态表征、动作决策和多目标评价优化四个环节。其中，PPO负责根据气象条件、时间和室内温度等状态信息学习长期供热负荷分配策略；NSGA-II则针对供热负荷降低和室内温度满意度两个目标搜索Pareto最优解，并利用Pareto解集反映的目标权衡关系动态调整PPO奖励函数中的目标权重。由此形成“环境感知—策略决策—多目标优化—权重更新—策略再优化”的闭环过程。

图1 基于自适应加权多目标强化学习的建筑群供热负荷分配框架

（2）研究进一步将所提出的方法与单一PPO方法以及传统固定权重方法进行了对比。结果表明，自适应加权方法实现了 22.1%的整体节能率，高于单一PPO方法的19.9%和传统方法的15.5%。同时，该方法显著降低了供热峰值，最大峰值削减幅度超过 40%。优化后的供热负荷曲线整体更加平稳，也减少了频繁启停和剧烈负荷波动。

图2 不同供热负荷分配方法下建筑群总供热负荷对比

（3）供热负荷降低并不意味着单纯“少供热”。如果节能是以牺牲室内温度为代价，则优化策略缺乏实际应用意义。因此，本研究同时将室内温度满意率作为核心优化目标。结果显示，采用自适应加权方法后，办公楼、宿舍和餐厅的室内温度满意率分别达到约 94.6%、91.2%和93.2%。训练馆由于空间体量大、层高较高、热惯性较强以及人员活动具有明显间歇性，其温度满意率相对较低，为74.7%，但仍高于单一PPO和传统方法。

图3 不同供热负荷分配方法下各类建筑室内温度满意率

（4）为了进一步检验控制策略在高负荷条件下的适应能力，研究选取测试期内供热需求峰值日进行典型日分析。在这一极端工况下，自适应加权方法的单日节能率达到 22.2%，高于单一PPO方法的20.0%和传统方法的15.5%。尤其是在早晨6:00左右的高负荷时段，供热峰值由约 410 kW降低至250 kW，对应峰值削减率约 39%。这说明动态权重机制的作用不仅体现在平均工况下。当系统进入高供热需求状态时，控制策略可以重新调整节能和室内热环境目标之间的权衡关系，从而避免固定权重策略在极端工况下出现削峰能力不足或过度牺牲舒适性的情况。

03 成果小结

研究面向异质建筑群供热负荷协同优化问题，提出了自适应加权多目标强化学习方法，实现了不同建筑间供热负荷的动态分配与协同调控。研究结果表明，该方法能够兼顾能源利用效率、峰值负荷控制与室内热环境需求，并在复杂运行条件下展现出良好的适应性，为建筑群供热系统智能化运行提供了新的技术路径。

作者  

Junfan An¹ , Yuechao Chao¹, Yahui Du¹, Jianjuan Yuan^2* Zhihua Zhou¹ , Xuejing Zheng^1*

1  School of Environmental Science and Engineering, Tianjin University, Tianjin 300350, China

2  School of Energy and Environmental Engineering, Hebei University of Technology, Tianjin 300401, China

引用

An J, Chao Y, Du Y, et al. (2025). Adaptive method for dynamic collaborative allocation of heating load in heterogeneous building complex: An adaptive-weighted multi-objective reinforcement learning framework. Building Simulation, 18, 2825–2847. 

https://doi.org/10.1007/s12273-025-1341-8

长按访问原文

提出自适应加权多目标强化学习框架，实现异质建筑群供热负荷的动态协同分配

期刊介绍

Building Simulation 2008年创刊，是世界上第一本有关建筑模拟领域最新研究成果的英文学术期刊，跨多种学科领域，涉及建筑技术、土木工程、建筑学、环境工程、能源及动力工程等，致力于为中外同行提供一个高水平的学术交流平台。被SCI、EI Compendex、Scopus、CSCD等数据库收录。2026年SCI影响因子6.9，在JCR两个学科领域均位于Q1区；位于中国科学院期刊分区，工程技术大类1区Top；入选2025年度世界一流科技期刊目录。

支持单位：