在全球范围内,建筑行业的能耗占社会总能耗的比例近40%,建筑行业的二氧化碳排放量占总排放量的30%。在中国,建筑能耗占社会总能耗的比重接近20.6%,二氧化碳排放量占到总排放量的19.4%。在建筑能耗中超过50%的能耗来自暖通空调系统,因此暖通空调系统（HVAC）被认为是整个建筑物中能耗最高的能源消耗系统。通过采用高效的优化算法来改进暖通空调系统比直接替换暖通空调物理设备在效率,可持续性和经济效益等方面更加具有优势。目前针对暖通空调系统的优化方法有很多,例如传统的数学优化方法,启发式方法,机器学习方法等。其中机器学习方法与传统的数学优化方法相比,不受精确目标函数的限制,同时比启发式方法具有更强的鲁棒性和更稳定的收敛结果。因此,机器学习方法尤其是深度强化学习方法在节能优化方面具有极大的研究价值。本文围绕如何利用启发式方法和深度强化学习方法对大型中央暖通空调节能优化策略进行研究,基于所构建的暖通空调仿真系统,对暖通空调各子系统对总能耗的影响进行分析,利用启发式方法和深度强化学习方法寻找暖通空调各子系统的最优值,依据该最优值对暖通空调系统中的冷却水温度、一次冷冻水温度、二次冷冻水温度和送风温度的设置温度进行优化。由于暖通空调各个子系统的设定值组成的状态空间多达十几万,传统的优化方法无法及时得到最优设定值,传统深度强化学习方法受限于“维数灾难”问题,则无法在有限的时间内收敛。针对这些问题本文通过敏感性分析,函数逼近,网络剪枝等方法提出两种改进的暖通空调系统优化算法,极大地降低了暖通空调系统的能耗,主要内容包括以下三部分:（1）针对传统优化方法面对大规模搜索空间无法及时得到最优设定值的问题,提出了一种基于敏感性分析的暖通空调组合优化算法。启发式算法无需遍历所有状态空间,因此可以在一个较为合理的时间里得到一个较优设定值。通过敏感性分析方法分析暖通空调各子系统的设定值对总能耗的影响,进而根据敏感性分析结果将暖通空调子系统分为敏感性因素系统和非敏感性因素系统,先对敏感性因素中的子系统设定值进行组合优化,在该优化结果的基础上,再对非敏感性因素中的子系统设定值进行组合优化。所提出的基于敏感性分析的组合优化算法极大减少了遍历空间的大小,从而解决了传统优化方法面对大规模搜索空间无法及时得到优化结果的问题,并且仿真结果表明基于敏感性分析的组合优化方法具有显著的节能效果。（2）针对传统深度强化学习方法在大规模状态空间下无法在有限的时间内收敛的问题,提出了一种多步-行动者评论家暖通空调优化算法。该算法通过对传统深度强化学习网络进行剪枝操作从而极大的缩减了网络的收敛时间,同时也极大的减少了训练所需要的数据。提出了一种基本动作的概念,使用基本动作代替全部动作集合,从而达成对传统深度强化学习网络规模进行缩减的目的,通过对不同的基本动作的选取从而构成多个优化网络。进一步的,通过与搜索树相结合组成多步-行动者模块,最终选取节能效果最好的网络结构,并且仿真结果表明多步-行动者优化算法中的多步-行动者模块达到了与传统深度强化学习近似的节能效果。（3）针对第二部分中基于基本动作构建的深度强化学习网络和搜索树组成的多步-行动者模块中存在的性能损耗,通过在传统深度强化学习方法框架中加入评论家模块进一步优化性能。在选定最优多步-行动者模块后,评论家模块基于所构建的值函数网络进行二次优化,通过KNN算法寻找距离多步-行动者模块得到的原始最优设定值最近的状态集合,基于值函数网络选择所得到的状态集合中能耗最低的状态作为暖通空调系统最终的设置值,进一步降低暖通空调的能耗。最后通过所构建的仿真环境验证了多步-行动者评论家的优化算法相比于传统深度强化学习算法和多种传统优化算法能够获得最优的节能效果。