祝贺课题组在家庭低碳能量管理方面的作品发表在Energy and Buildings。JCR分区Q1，影响因子：7.201。

原文链接：https://linkinghub.elsevier.com/retrieve/pii/S0378778822007654

原文发表信息：Hui Hou, Xiangdi Ge, Yue Chen, Jinrui Tang, Tingting Hou, Rengcun Fang. Model-free Dynamic Management Strategy for Low-carbon Home Energy based on Deep Reinforcement Learning Accommodating Stochastic Environments. Energy and Buildings, Volume 278, January 1, 2023. DOI：10.1016/j.enbuild.2022.112594.

期刊简介

Energy and Buildings《能源与建筑》是一本国际期刊，发表与建筑物能源使用有明确联系的文章。目的是展示新的研究成果和新的经过验证的实践，旨在减少建筑物的能源需求和改善室内环境质量。能源与建筑考虑并发表文章大大推动了建筑科学的发展。

Highlights

· A model-free low-carbon management strategy for home energy is proposed.

· The proposed strategy accelerates the dynamic operation through deep Q network.

· The strategy can achieve the unified effect of economy, emission and satisfaction.

· The model adapts to random environment guaranteeing robustness and stability.

摘要

This paper presents a model-free dynamic optimal management strategy for a low-carbon home energy management system (HEMS) based on deep reinforcement learning (DRL). The method can ideally handle the uncertainties and dynamics of renewable energy and demand-side load. Firstly, the load model is established by a deep Q network (DQN) algorithm with the advantage of ignoring traditional forecasting steps on stochastic environments such as renewable energy generation, load demand, price, etc. Then multi-agents are established for dynamic management based on the DRL. Through “dynamic acquisition, dynamic decision” mechanism, the proposed model-free strategy achieves real-time energy management that can adaptively respond to stochastic environments. Secondly, considering the constraints of system carbon emissions and carbon trading, the proposed strategy can minimize the energy consumption cost, carbon trading cost, and user satisfaction penalties. Ultimately, the effectiveness of the proposed strategy is verified through case studies. Experimental results demonstrate that the strategy can significantly reduce the overall cost, including a 36.7% reduction in carbon trading. At the same time, user satisfaction penalties are reduced by 50.2%. Further, the agent hyperparameter could also be adjusted to capture the trade-off between cost savings and satisfaction penalties. And compared with the traditional forecast-based management strategy, it overcomes the problem of uncertainties and avoids forecasting errors to better accommodate the stochastic environment.

Graphics

系统结构如图1所示。

图1 系统结构

全文框图如图2所示。

图2 全文框图

部分仿真对比结果如图3所示。

图3 部分仿真结果

结论

提出了一种低碳HEMS的无模型动态优化策略。由于不需要任何HEMS的预测信息或分布知识，因此所提出的动态策略是无模型的。最后，以最小化能耗成本、碳交易成本和用户满意度惩罚为目标，采用DQN算法求解动态最优管理策略。仿真结果表明:

1)模型考虑了HEMS的能源经济性、低碳运行和用户满意度。与基于日前预测的管理模型相比，该策略更具可行性。基于用户的基本需求，保证系统的低碳经济运行。

2)管理策略可以动态优化，适应随机环境。同时，通过参数的调整，该模型可以为用户提供多种具有不同偏好的可行能源管理策略供用户选择，对于满足不同用户各自的调度需求具有重要意义。

3)提出的能量管理策略不依赖于系统数据的概率分布和预测信息。该模型在非预测机制下具有良好的收敛能力和稳定性，具有一定的鲁棒性。

论文作者及科研团队介绍：

侯慧，博士，副教授，博导，武汉理工大学新能源与电力系书记，中国电力教育协会电气工程教学委员会委员，IEEE高级会员，中国电工技术学会高级会员，中国电机工程学会高级会员。在研国家重点研发计划子题1项，国家自然科学基金面上项目1项，曾获中国电力科技创新奖一等奖1项，电力建设科学技术进步奖二等奖1项，广东省科技进步二等奖1项等。

主要作者陈跃为武汉理工大学2016级本科生，2019年9月底本科大四期间由于其优异的成绩及具有突出创新能力潜质，获得B类推免资格，加入武汉理工大学智慧电力与双碳实验室就读硕士研究生，当年获研究生卓越奖学金。研究生期间发表IEEE Transactions on Industry Application, Energy and Buildings，电网技术等高水平期刊论文多篇。连续3年获得校一等奖学金，荣获校三好研究生、一汽解放领航社会奖学金等多项荣誉。研究生期间参与第十六届中国研究生电子设计大赛并获初赛一等奖等。

主要作者戈翔迪为湖北工业大学2017级本科生，2020年12月底考研后加入智慧电力与双碳实验室就读硕士研究生。在读研究生期间任自研2101班团支书，荣获校优秀研究生干部等荣誉称号。参与第十七届中国研究生电子设计大赛中荣获华中赛区三等奖。已发表Energy and Buildings，电力系统保护与控制等高水平期刊论文数篇。

智慧电力创研团队目前拥有教授1人，副教授4人，研究生百余人，承担国家重点研发计划、国家自然科学基金、中国博士后基金、国家重点实验室开放基金等纵向项目数十项，南网及国网等科技项目40余项。团队长期致力于能源互联网、电力系统风险评估、继电保护、电气设备智能监测等领域的科研攻关、支撑服务及标准制修订，服务国家可持续发展以及碳达峰、碳中和等重大战略需求。