随着我国经济发展,中国的能源消耗也不断增长,其中建筑能耗在全国的总能耗占比高且不断增长,针对建筑节能设计和能耗研究非常迫切。空调机组耗能在建筑能耗中占比较高,因此对空调机组优化控制是降低建筑能耗的有效措施。本研究以解决当前建筑设备控制策略的局限性,利用强化学习能够通过迭代不断调整控制策略,从而得到最优策略,实现建筑节能为中心。深度强化学习算法收敛需要大量的数据,而空调系统现有的监测数据有限,严重影响在实际工程中的应用。本研究通过自模拟度量、样本排序等方法改进深度确定策略梯度算法,降低算法对数据量的需求,同时利用深度双Q网络对空调机组的负荷进行预测来进一步优化空调机组的控制策略,从而实现建筑节能。主要包括以下三部分内容:(1)针对深度确定策略梯度算法收敛速率较慢,需要大量数据的问题,提出了一种增强型深度确定策略梯度(E-DDPG)算法。该算法在深度确定策略梯度算法的基础上,重新构建两个新的样本池——多样性样本池和高误差样本池。在算法执行过程中,训练样本分别从多样性样本池和高误差样本池按比例选取,以兼顾样本多样性以及样本价值信息,提高样本的利用效率和算法的收敛性能。此外,进一步从理论上证明了利用自模拟度量方法对样本进行相似性度量的合理性,建立值函数与样本相似性之间的关系。将E-DDPG算法以及DDPG算法用于经典的Pendulum问题和Mountain Car问题,实验结果表明,E-DDPG需要较少的数据就能够收敛。(2)从空调机组负荷影响因素、实际数据能否收集等角度出发,确立空调系统负荷预测的相关参数,即室外温度、室外相对湿度、前一时刻空调系统负荷、前二时刻空调系统负荷、前三时刻空调系统负荷。监测系统由于突然断电,卡机等原因导致数据存在缺失,因此需对数据进行预处理。将负荷预测和影响因素建立马尔科夫模型,同时为避免强化学习动作值函数的过估计,选用DDQN算法进行负荷预测。最后采用某环境学院记载的建筑能耗监测数据进行实验。实验结果表明,基于深度强化学习的负荷预测方法对建筑负荷预测的精度较高,可以为空调设备的优化策略提供指导。(3)基于本研究提出的深度强化学习改进算法E-DDPG算法和空调负荷预测算法,实现空调系统的控制优化。首先基于已有研究和空调冷源系统相关设备的分析研究,确立优化控制的相关控制参数,即冷冻水出水温度、冷冻水泵流量、冷却水进水温度、冷却水泵流量,根据设备的工作特性确立设备运行的约束条件,最终建立优化控制的目标。基于上述分析,构建马尔科夫模型,同时针对实际数据存在的问题和量纲不同进行数据处理与归一化操作,通过E-DDPG算法求解不同负荷区间相关控制的最优参数,最后利用负荷预测算法预测出的空调系统下一时刻的负荷,实时将空调系统的设备参数调整到最优参数,实现空调系统的能耗节约。