随着电动汽车规模化接入、电力系统数字化运行以及云-边-端协同计算的发展，能源系统与计算系统呈现出高度耦合的运行形态。电动汽车充电调度、云作业调度与实时工作流管理等问题，可统一抽象为不确定环境下的资源受限实时调度问题。强化学习因其无需精确建模和在线自适应能力，被认为是解决此类问题的重要技术手段。然而，在真实工程系统中，调度决策同时受到电网与设备物理运行安全以及数据隐私与系统安全合规等刚性约束的严格限制。这些约束不可违反、实时性强且高度耦合，使得以性能优化为目标的传统强化学习方法难以直接应用。因此，如何在统一的强化学习框架下，对物理层安全约束与信息层隐私约束进行有效建模，实现约束可控的实时调度策略学习，成为强化学习工程化应用亟需解决的关键科学与技术问题。

针对上述问题，课题组围绕“多层次不可违反约束下的强化学习可部署性”这一核心科学问题，系统开展了约束可控强化学习调度方法研究，并在能源系统与计算系统两个典型场景中取得代表性成果。在电动汽车充电调度中，提出了引入双层安全模块的强化学习框架，将电网与充电设施的物理安全约束前置嵌入策略生成过程，有效抑制探索阶段的不安全决策，实现了安全约束下的高效实时调度。在云与混合计算环境中，进一步构建了隐私与安全合规约束驱动的强化学习调度模型，将任务数据隐私等级与计算域安全策略显式纳入决策过程，提升了调度策略在复杂环境中的鲁棒性与可迁移性。同时，课题组将研究方法从深度强化学习拓展至量子强化学习，引入量子神经网络增强状态表示与价值估计能力，提升了不确定环境下的实时决策性能。相关研究实现了强化学习从性能驱动向约束可控、工程可用方向的重要突破，为电力-算力融合场景下的持续深化研究奠定了方法基础。

▲物理层安全增强强化学习方法                              ▲扩展至量子强化学习任务调度方法

2025年，相关研究成果相继发表在IET Smart Energy Systems、Applied Energy、Applied Soft Computing、Expert Systems with Applications以及 IEEE Systems Journal等国际权威期刊上，部分论文已获得较高学术关注度，单篇引用次数最高达到24次。论文的通讯作者为新能源电力系统全国重点实验室程龙教授，新能源电力系统全国重点实验室为论文唯一通讯单位。

Reference:

A. Zhang, C. Liu, K. Makantasis, X. Chen, T. Ward and L. Cheng,“DuMES: Deep Reinforcement Learning-Based EV Charging Scheduling With Dual-Layer Safety Modules,”in IET Smart Energy Systems, vol. 1, no. 3, pp. 232–246, 2025.

H. Xu, A. Zhang, Q. Wang, Y. Hu, F. Fang and L. Cheng, “Quantum Reinforcement Learning for real-time optimization in Electric Vehicle charging systems,” in Applied Energy, vol. 383, Art. 125279, 2025.

B. Xiong, L. Zhang, Y. Hu, F. Fang, Q. Liu and L. Cheng, “Deep reinforcement learning for optimal microgrid energy management with renewable energy and electric vehicle integration,” in Applied Soft Computing, vol. 176, Art. 113180, 2025.

H. He, Y. Gu, Y. Hu, F. Fang, X. Ning, X. Chen and L. Cheng, “Real-time workflow scheduling in hybrid clouds with privacy and security constraints: a deep reinforcement learning approach,” in Expert Systems with Applications, vol. 278, Art. 127376, 2025.

S. Dai, N. Saurabh, Q. Wang, J. Nian, S. Kan, Y. Mao and L. Cheng, “Quantum Reinforcement Learning for QoS-Aware Real-Time Job Scheduling in Cloud Systems,” in IEEE Systems Journal, vol. 19, no. 2, pp. 471-482, 2025.

初审：李美琪

复审：张洪

终审：齐波