随着社会用电需求的增长、能源产业结构的变化以及产能技术的不断更新,能源调度任务在微电网的能源管理中变得十分重要。传统方法的思路是将其抽象为一个纯优化问题,未能考虑到模型的动态性及不确定性。相比之下,强化学习方法考虑了模型随着时间的推移进行的动态变化,并且可以很好的应对决策过程中出现的不确定性。本文的研究重点是应用强化学习解决微电网能源调度任务当中的决策问题,主要研究内容如下:首先,本文基于强化学习及马尔可夫决策过程的基础理论构建了微电网能源系统模型,对其中的柴油发电机和电池装置分别进行了数学建模,并确立了最小化能源生成成本和保证能源供求关系平衡的优化目标。在此基础上,本文提出了针对有限固定时间步长问题的深度确定性策略梯度(FH-DDPG,Finite Horizon-Deep Deterministic Policy Gradient)算法,创新性的应用了 Multi-Actor和逆向归纳机制,解决了深度确定性策略梯度算法在有限固定时间步长决策问题中存在的训练稳定性较差和收敛速度较慢等问题。仿真结果显示,FH-DDPG实现了能源生成成本的最小化和供求关系的平衡。在上述研究的基础上,本文通过进一步考虑实际场景中由信息不完全性和信息时效性缺失所导致的不确定性,针对微电网能源系统构建了部分可观察马尔可夫决策过程,克服了历史信息采样过程复杂、初始单元历史信息难以获取等困难。然后,本文对观测空间、历史空间进行了定义,并分析了其与状态信息量的区别。最后,本文提出了针对有限固定时间步长问题的循环确定性策略梯度(FH-RDPG,Finite Horizon-Recurrent Deterministic Policy Gradient)算法,并通过对网络进行合理的设计提高了历史信息的利用效率。仿真实验表明,在基于同一时间周期和基于多个不同历史周期的训练和测试中,FH-RDPG算法在能源调度任务中取得了更好的收敛性和模型泛化能力。