随着综合能源系统的发展、多种异质能源子系统之间的相互影响和大规模可再生能源的不断渗透,互联电网中功率扰动的不确定性和随机性随之增强,加剧了系统自身频率调节与平衡的压力。此外,由于调频辅助服务市场机制的引入、电网运营商之间的博弈和不同频率控制主体之间的相互制约,自动发电控制（automatic generation control,AGC）系统中的不同模块、不同目标和不同主体之间的协调问题变得更复杂,传统AGC策略已经难以满足电网对频率调节高控制性能的要求,如何提高AGC策略的自学习和协同学习能力以提高区域电网频率调节控制性能是一个关键科学问题。因此,在调频辅助服务市场机制下,针对AGC系统中广泛存在的五个复杂协调问题,本文改进并利用深度确定性策略梯度算法的强自适应能力和协同学习能力,提出了一系列数据驱动的协调策略:1)单区域AGC功率分配器的多目标协调优化问题:针对综合能源系统背景下AGC功率分配器发电功率指令分配策略中控制性能和经济效益两个目标冲突导致的多能流约束破坏、区域控制偏差和调节成本增加的问题,本文首先建立了一种考虑多能流需求和调节机组约束的互联综合能源系统AGC发电功率指令分配框架,然后,本文引入了能够促进知识演化的多经验池概率回放知识获取技巧,为该框架提出了一种基于多经验池概率回放的双延迟深度确定性策略梯度算法,该算法能够提升AGC策略的鲁棒性并在满足多能流平衡约束的同时减小区域控制偏差和调频里程补偿费用。2)单区域AGC控制器和功率分配器之间的协调控制问题:针对多次大幅度扰动下AGC控制器和功率分配器目标不一致导致调频资源浪费、机组重复调节和频率崩溃的协调问题,本文首先设计了一种一体化发电控制框架,将具有不同目标的独立控制器和功率分配器集成为具有统一目标的智能体,在面对二次大幅度扰动时,该框架能调用更多快调机组来防止频率崩溃。然后,本文为该框架提出了一种基于群体智能的大规模深度确定性策略梯度算法,使用多个具有不同强化学习原理的智能体进行分布式寻优,提升算法的鲁棒性和自适应能力,使得一体化发电控制策略具有更高的灵活性。3)多区域AGC控制器之间的多目标协调控制问题:针对不同区域AGC控制策略不协调导致的全局区域控制偏差和调节成本增加的协调问题,本文设计了一种分布式智能协调自动发电控制框架。该框架考虑调频辅助服务市场机制对联络线功率控制和频率控制带来的双重影响,平衡了不同电网运营商的利益。为了提升协调控制策略的鲁棒性并降低训练成本,本文为该框架提出了一种基于进化模仿课程的多智能体深度确定性策略梯度算法,该算法结合模仿学习和课程学习并采用集中训练策略,使得每个控制器只需局部观察本区域状态就可以实现多区域全局协调控制。4)多区域AGC控制器和功率分配器之间的分布式协调与全局控制问题:针对多区域AGC控制器和功率分配器目标冲突导致的联络线功率波动与调节成本增加问题,本文首先模仿八爪鱼神经结构的边云协同框架,提出了一种“八爪鱼”协调AGC策略。该策略将每个区域中控制器和功率分配器分别等效为独立智能体,通过集中训练实现多智能体协调。然后,为了提升多主体复杂环境中AGC策略的鲁棒性、自适应决策能力和收敛能力,本文提出了一种基于追踪-探索策略的大规模多智能体深度确定性策略梯度算法,引入追踪-探索和集成学习策略等多种技巧,引导算法收敛防止陷入局部最优。最后,智能体仅根据自身区域状态即可得出全局优化决策。5)紧急频率控制与AGC策略多目标协调控制问题:针对互联电网中紧急频率控制与AGC策略不协调导致线路过负荷和频率过控/欠控的问题,一方面,本文从AGC的角度出发提出了一种广域AGC框架,利用广域监测系统中的实时测量数据,在二次调频的同时考虑电网潮流分布,将AGC发电功率指令分配策略按照电网频率分为四个具有不同目标的控制区间以配合紧急频率控制策略。然后,为了求解这类多主体、多时间尺度和多目标的复杂协调问题,本文为该框架提出了一种基于大规模高效探索策略的多延迟深度确定性策略梯度算法,该算法使用不同探索策略进行分布式探索来生成更具鲁棒性和自适应能力的广域AGC策略。另一方面,本文从频率稳定控制角度出发提出了一种广域频率控制策略,广域频率控制策略有机结合了广域AGC和紧急频率控制,通过集中分级训练策略减少了紧急频率控制中的切负荷/切机量,防止线路功率过载等衍生事故的发生。由于广域频率控制面对的是具有大幅度随机扰动和紧急故障的复杂电网环境,为了增强广域频率控制策略的鲁棒性和多任务学习能力,本文引入元强化学习技巧与分布式强化学习训练框架提出了一种分布式元深度确定性策略梯度算法,获得了更具协同学习能力的广域频率控制策略。最后,本文搭建了基于平行系统的AGC仿真平台并在县域电网示范工程中进行了工程应用。