楼宇和建筑工业约占全球三分之一的能源消耗和碳排放,而且这一数字预计将会随着城市化进程继续增加。因此,在能源系统数字化改革和低碳转型不断推进的背景下,智慧楼宇能量管理受到越来越多的关注,它可以有效地降低能源的运行成本并提高效率,使楼宇在能耗成本、碳排放和用户舒适度方面达到最优的权衡。与此同时,区域内多能耦合和信息交互进一步深化,逐渐建立起各个层级的综合能源系统。综合能源系统可在满足区域内冷、热、电、天然气等多样化用能需求的同时,提高资源利用效率,促进对可再生能源的有效消纳,从而推动能源的可持续开发利用。虽然智慧楼宇综合能源系统可以成为区域能源系统脱碳的一个关键选择,但由于其建筑热力学模型复杂、系统不确定性参数多、能源子系统耦合等问题,给研究和应用带来了诸多挑战。而强化学习作为一种通用的人工智能技术,已成功证明其解决各种现实世界应用的能力,并有望解决上述挑战。在此背景下,基于减少楼宇运行成本的目标,本文运用深度强化学习的方法,从单个楼宇的低碳能量管理出发,进而在社区内多楼宇协同优化和社区内多楼宇能量交易等方面开展研究,为智慧楼宇综合能源系统的高效、安全、低碳运行提供方法借鉴。本文主要研究内容和贡献如下:1)提出基于近端策略优化的楼宇低碳能量管理方法。把智慧楼宇能量管理系统视为深度强化学习中的智能体,并根据楼宇综合能源系统的数学模型,为其搭建与之交互的楼宇模拟环境。将楼宇低碳能量管理问题建模为马尔可夫决策过程并定义其状态空间、状态转移、动作空间和奖励函数这四个要素。采用基于策略梯度改进的近端策略优化算法,对该问题进行求解。所提出的方法在不明确知道建筑热力学模型的情况下有效地应对了系统的不确定性,实现了对楼宇内多种能源器件组合的实时最优能量调度。2)提出了考虑隐私保护的社区多楼宇智能协同优化方法。把单个楼宇的能量管理系统视为深度强化学习中的智能体,并设计了住宅社区多楼宇协同优化的马尔可夫决策过程。为社区多楼宇协同优化问题设计联邦强化学习框架,通过交互各楼宇的深度强化学习模型中间参数,在有效地保护其数据安全的前提下,协同地提升楼宇能量管理系统模型的训练速度。3)提出基于多智能体强化学习的社区端对端能量交易机制。设计了一个拥有不同类型多能源楼宇的社区,并允许楼宇之间在端对端交易平台中相互交换电力。在社区内实施了中间市场利率定价机制,充分激励楼宇相互合作交易能源。设计端对端交易的马尔可夫决策过程,采用多智能体近端策略优化算法对该问题进行求解。提出的端对端电能交易机制帮助终端用户在充分发挥楼宇能量管理系统灵活性的基础上,积极参与区域绿色电力交易,增加了可再生能源的就地消纳,减少了电网的运行压力,使得本地需求和发电更加平衡。同时,可以通过碳价的引入,影响楼宇能量管理系统对综合能源系统组件的调度,从而减少社区的碳排放,促进用户端的低碳转型。