随着我国电力系统的信息化、智能化的不断发展,综合能源系统是迈向现代化电力系统的重要方向。对综合能源系统的优化调度,能够有效提高对可再生能源的消纳能力,极大地节省人力和经济成本,高效利用能源,有效降低环境污染气体的排放。因此,如何实现综合能源系统的智能化、高效化的优化调度控制,是一个亟需研究的课题。在此背景下,本文从人工智能强化学习出发,研究基于强化学习的综合能源系统多目标优化调度问题。进一步地,针对综合能源系统中不同能源子系统的差异化调度时间尺度,采用混合时间尺度多目标强化学习方法进行研究。具体研究内容如下:首先,针对电-热-冷-气综合能源系统的物理架构,讨论了系统中各个耦合设备的物理模型,并建立了计及经济性、碳排放和（火用）效率的多目标优化调度模型。同时,引入了强化学习方法,阐述了强化学习的基本原理,并分析了近端策略优化算法（Proximal Policy Optimization,PPO）的数学推导过程,为后续研究提供了强化学习的数学理论基础。然后,基于综合能源系统的多目标优化调度模型,设计面向多目标优化的强化学习过程,并进行仿真分析验证所提方法的有效性和优越性。通过融合系统约束条件建立动作空间,分析系统变量是否可控建立状态空间,基于逼近理想解排序法（Technique for Order Preference by Similarity to an Ideal Solution,TOPSIS）建立多目标奖励函数。采用近端策略优化算法,实现基于强化学习的综合能源系统的多目标优化调度。仿真算例表明所提方法的有效性,通过与深度Q学习网络（Deep Q-learning Network,DQN）算法、多目标粒子群（particle swarm optimization,PSO）算法进行对比,证明所提方法的优越性。弥补了现有研究中将强化学习应用在综合能源系统多目标优化调度的不足。最后,考虑到实际调度过程中不同类型的能源负荷对调度指令响应的时间尺度不同,调度时间尺度差异化造成了多维状态变量,强化学习方法难以适应多维变量的问题。采用混合时间尺度同步协调差异化调度时间尺度,并基于此建立了混合时间尺度多目标强化学习过程。通过仿真算例表明了所提方法相较于传统的单时间尺度强化学习过程,不仅更加贴合实际调度过程,而且在调度结果上也更具优势。本文所做研究为实现智能、高效、低碳、实时的综合能源系统多目标优化调度提供了方法思路,同样可推广到其他基于强化学习的多目标优化领域。