基于深度强化学习的暂态稳定紧急控制研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:z196651j
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,以深度学习、强化学习、迁移学习等为代表的新型机器学习技术不断涌现,为解决电力系统稳定控制领域的实际工程问题提供了新的思路和方法。传统的在线稳定控制方法难以在不确定性因素下形成有效地控制决策,本文针对传统方法的不足,采用数据-模型-知识的思路,将深度强化学习和迁移学习技术应用于电力系统暂态稳定紧急控制之中,论文主要工作如下:随着广域量测系统在电网稳定控制中的应用,广域信息的随机性时滞造成了系统受控时状态的不确定性,并且切机和切负荷控制的离散决策变量维度极高,电网在线紧急控制决策面临着挑战。为此,本文将暂态稳定紧急控制问题视为序贯决策问题,提出了一种基于深度强化学习的电力系统暂态稳定紧急控制方法,可通过交互学习适应环境不确定性。在奖励函数设计方面,划分短期奖励和长期奖励以满足控制目标与约束条件和长期暂态稳定的要求,同时引入了李雅普诺夫法的暂态势能指数,提高学习的效率;在模型与环境构建上,设计了Python和PSS/E软件的交互接口,搭建了紧急控制的离线训练平台来实现交互学习;在算法上,采用了DQN算法与经验回放机制,通过深度Q网络在离散化动作空间中学习到最优紧急控制决策。最后,通过新英格兰10机39节点系统验证了紧急控制策略的有效性。电力系统的暂态失稳场景复杂,紧急控制策略模型会因故障类型、故障位置、故障持续时间和负荷水平的变化,而出现单次训练时间过长、训练不收敛等问题。为了提升模型对多种失稳场景的适应性,解决高维度控制决策模型的训练问题,本文提出一种基于迁移学习的多场景紧急控制方法,将训练任务划分为两阶段的连续训练过程。第一阶段为预训练阶段,选择小批量失稳场景参与训练,在训练结束后保留其内部神经网络结构和权重参数;第二阶段为完整训练阶段,通过迁移预训练模型的网络及参数,完成在多场景下的紧急控制策略训练任务。在算法方面,本文采用包括Double DQN、Dueling DQN和Dropout机制在内的Rainbow算法对DQN方法改进。最后,通过案例分析证明了本文所提方法的优越性。本文创新性地将紧急控制问题视为序贯决策问题,构建了离线训练和在线应用的深度强化学习模型,利用数据驱动的方法挖掘包含的不确定性信息,并应用了暂态能量函数的专家知识提升效率,解决了时滞不确定性影响下的紧急控制决策问题,采用迁移学习提升模型针对多场景下的自适应学习能力。本文研究为“实时决策,实时控制”的暂态稳定紧急控制,以及人工智能技术在电力系统稳定控制领域的应用提供了新思路。
其他文献
在电网规划中负荷预测是关键的一环,对于保证电力系统的正常运转、实现电力供需平衡、实施合理运转模式优化配网运行等方面具有十分重要的作用。由于发出的电能难以大量储备,电能生产、消耗是一个同时进行的过程,因此预测负荷的大小对电网运行具有重大意义。伴随着电力市场化的发展,电力公司之间的交易越来越频繁,对负荷预测的准确性要求也越来越高。(1)本文方法中的负荷数据、气象数据均来源于山东省某地级市实际电网系统,
学位
<正>在当前社会经济发展过程中,商业银行的发展至关重要。人民币国际化是当前我国社会经济发展过程中的重要内容,随着人民币国际化的不断深化,商业银行的发展内涵也注入了新的概念。本文通过对国际金融市场以及人民币国际化现状的分析,提出科学的商业银行创新发展策略,谋求商业银行长足发展的动力,紧跟人民币国际化进程,为我国社会经济建设的落实作出积极贡献。
期刊
2005年9月,我国股权分置改革工作全面展开,资本市场开始进入全流通时代。然而,这次改革并没有对中小股东的弱势地位做出改变,控股股东“一股独大”的现象普遍存在,大股东利用手中控制权对上市公司进行掏空行为的事件频繁出现。并且我国尚不完善的监管制度致使大股东掏空行为的违法成本低,这都为其掏空行为提供了机会。内外部的有利条件为大股东的掏空行为创造了可能性,当其与中小股东发生利益冲突时,大股东可以利用股权
学位
LLC谐振变换器凭借软开关、磁集成、磁隔离等优势,成为目前高灵活性、高可靠性、高效率分布式电源系统前端DC/DC变换器中倍受青睐的拓扑;而随着现代工业要求的提高,分布式电源系统向大功率应用进一步发展,并联LLC谐振变换器系统也随之被广泛应用于低压直流配电网。值得注意的是,由于各模块之间的相互作用和附加共享电流控制环节导致的强耦合效应,并联系统比单个变换器更加复杂、敏感和脆弱,稳定性是系统设计时所必
学位
<正>随着放疗技术的发展,肿瘤放疗从传统的三维适形放射治疗(three dimensional conformal radiation therapy,3DCRT),到调强放射治疗(intensity modulated radiation therapy,IMRT),再到四维放射治疗(four dimensional radiation therapy,4DRT),正从粗放疗时代进入精准放疗时代
期刊
特高压直流输电的快速发展满足了负荷中心日益增长的能源需求。但聚集的多直流落点也增加了交直流系统耦合的复杂程度,换相失败问题尤为突出。在多直流馈入地区接入新一代大容量调相机是抑制多馈入直流系统换相失败的有效途径。科学合理的调相机选址及定容方法是防止多馈入直流换相失败和保证系统安全稳定运行的关键。本文从降低多直流馈入系统换相失败风险以及提高故障切除后的电压稳定性出发,对多馈入直流系统中调相机的优化配置
学位
针对城市人地系统紊乱、“三生”空间失衡、生态环境恶化等突出难题,文章借助DNA双螺旋模型,构建人类活动和区域空间螺旋交互耦合框架,通过理论类比揭示城镇人类活动与区域空间的格局和过程耦合机理,为人地关系研究提供新的视角和分析思路。结果表明:(1)人类活动与区域空间结构的合理配置支撑城镇人地系统运行,与DNA碱基互补配对决定生物的繁殖、遗传和变异具有较高相似性。(2)城镇发展过程中的人口变化、经济发展
期刊
利用声光调制器(AOM)激光反馈回路对泵浦激光的强度噪声进行抑制,获得了5 dB以上的强度噪声抑制(@f=1 Hz~50 kHz)。2μm单频光纤激光器的相对强度噪声获得3~15 dB的抑制(@f=1 Hz~50 kHz),且其强度噪声水平接近探测器极限(@f=40~400 Hz)。同时,其频率噪声也得到了3~8.4 dB的抑制。经过两级掺铥保偏光纤放大器后,2μm单频√激光的输出功率提升至5.2
期刊
一直以来,思想政治教育工作是我们党开展一切工作的生命线。2021年,《新时代加强和改进思想政治工作的意见》的颁布,更是为新时代如何开展思想政治工作提供了根本遵循。思想政治教育事关国民信念与信仰的正确建立、事关社会秩序的稳定、事关党领导下一切工作方向的确定。高校作为为党、为国家、为社会培养人才的重要阵地,思想政治教育的重要性更是不言而喻。党的十八大以来,为持续推进高校思想政治教育,党中央颁发了一系列
学位
新时代青年学生既是社会活力的源泉,又是发展成果的共享者,生逢其时,肩负重任。新时代青年学生的担当精神不仅关乎个人前途发展,更与社会稳定和国家繁荣密切相关。回溯华夏民族五千年来的发展历程,责任担当始终是社会聚焦的热点话题,中华传统文化孕育了责任担当基因,旧民主主义革命时期的先进知识分子接续担当基因,启蒙担当意识,新民主主义革命期间青年学生在救亡图存中接受担当磨练,新中国成立后担当精神得以传承发展,改
学位