基于深度强化学习的微电网能量优化管理研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:LINGBAOLAOLI
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于传统能源的不可再生性以及人们对能源的需求越来越大,传统能源的枯竭已成为不得不面对的问题。新能源开始不断被人发掘利用,由风电、光伏等分布式电源组成的微电网成为了人们关注的焦点。然而由于风、光等可再生能源受环境影响具有很强的随机性,对微电网的能量优化管理带来了巨大的挑战。人工智能技术近几年来发展迅速,随着新的智能算法不断出现与更新,相关技术也开始应用于电力行业。本文针对微电网的强随机性问题,将深度强化学习算法引入微电网的能量优化当中。考虑风、光和负荷的随机性,以总经济运行费用的期望最小为目标,建立微电网经济优化调度模型,分别采用深度Q网络(DQN)和深度确定性策略梯度(DDPG)算法对模型进行求解。DQN算法利用神经网络对状态-动作值函数进行近似,输出每个状态-动作对的Q值,选择最优Q值所对应的动作作为最优策略;DDPG算法将动作和评价分开,设置了动作网络和评价网络,动作网络输出动作,评价网络根据误差对动作进行评估,并引导动作网络的输出逐渐逼近最优策略。为减少神经网络的复杂性,将决策变量分两步进行求解,第一步由神经网络输出与未来状态有关的决策变量,剩余决策变量第二步再进行求解;通过蒙特卡洛抽样生成多组训练曲线对神经网络进行训练,让神经网络对风电、光伏出力和负荷的波动进行学习,直至神经网络训练收敛。训练好的神经网络可以直接用于微电网的在线优化中,根据实时的状态信息做出相应的决策,通过算例验证了该在线算法的有效性。针对微电网群系统的能量优化问题,设计了基于多智能体系统的微电网群系统架构,建立了考虑不确定性的微电网群优化模型,采用多智能体深度确定性策略梯度(MADDPG)算法对模型进行求解。MADDPG算法采用集中训练、分散执行的框架,每个动作网络根据自身智能体的环境信息进行决策,每个评价网络根据所有智能体的环境信息和动作信息对动作网络进行训练。通过算例验证了该算法的有效性。
其他文献
轻量化是目前航空航天、武器装备以及交通运输领域产品发展的重要方向,其不仅对降低产品的自身提出要求,还对构件性能和精度要求越来越高。采用镁合金等轻量化材料和薄壁、带内筋等轻量化结构的结合是实现构件轻量化的重要途径。镁合金在室温下塑性差、难变形,塑性变形主要在加热下进行。镁合金温度敏感性高,旋压成形过程中容易产生各种缺陷,成形质量更加难以控制。此外,材料除轴向和径向流动外,还存在着较大的切向流动,导致
如何实现面向一维医疗影像的图文分割是本文的主要关注点。近年来深度学习等新兴领域都需要大量的数据集进行科学研究,但是在一些关注于一维医疗影像的科学研究中,往往都是在一维数据上进行更为细致的划分。现有有关二维医疗影像分割一维内容算法的相关研究相对较少,因此研究面向一维医疗影像的图文分割算法对于推动自动化提取数据集以及后续的相关研究至关重要。全文基于茂名市人民医院提供的纸质心电图数据集,分别围绕非监督学
本文主要研究了紧致度量空间上自由半群作用的拓扑r压和拓扑压,主要内容可以分成以下两个部分:第一部分,在紧致度量空间上我们分别用张成集和分离集定义了自由半群作用的拓扑r压,并由此得到自由半群作用的拓扑r压的相关性质.最后我们给出本文的第一个主要结果:自由半群作用的拓扑r压和拓扑压的关系,即自由半群作用的拓扑压是拓扑r压当r趋于0时的极限.第二部分,主要阐释本文的第二个结果:若fi,i=0,1,…,m
随着装配式建筑越来越广泛的应用,蒸压加气混凝土配筋板材(ALC板)需求量大增,但由于其多孔结构及生产过程在180℃-200℃、1.0 MPa左右条件下进行蒸压养护,使得蒸压加气混凝土在钢筋防锈上具有天然的劣势。涂层材料能将钢筋与锈蚀物质隔绝开来,是目前最常用的钢筋防锈方法。根据ALC板钢筋防锈涂层材料的性能要求,地聚物材料在粘结强度、抗渗性、耐热性、耐化学侵蚀性上具有良好的表现,但存在柔韧性差、收
建筑装配化建设在工业化背景的推动下已取得了较多的成果,其中装配式装修在近些年逐渐被关注,国家和地方政府纷纷出台相关文件与鼓励政策来促进装配式装修的应用与发展,装配式装修成为了我国装配化建设发展过程中十分重要的一部分。但目前对于装配式装修应用的研究多集中于住宅建筑,公共建筑领域涉猎较少。在公共建筑中,连锁酒店客房装修与装配式装修具有较高的关联性。主要原因有:第一,酒店连锁化程度的不断提高为装配式装修
超级电容器是一种介于传统电容器与电池之间的新型电子器件,具有功率密度大、充放电快及循环稳定性好等优点,是储能器件领域的研究热点。然而其能量密度与电池还存在一定差距。超级电容器的核心组成部分为电极,因此开发具有高比电容、高能量密度和长循环寿命的电极材料是构筑高性能超级电容器的关键所在。导电聚合物水凝胶作为新型超级电容器电极材料,同时具备导电聚合物的高导电性、高比电容和水凝胶独特的三维互联网状结构,解
沼气作为一种绿色可再生的能源,因其中CO2含量高而难以广泛利用,造成资源浪费和环境污染。水合物法气体分离技术,具有操作简单、无污染等特点,可用于脱除沼气中的CO2。利用水合物法进行沼气脱碳的研究对于沼气的开发利用具有重要意义。本文探讨了利用水合物法、吸收法、膜分离法进行沼气脱碳的能量消耗,并根据不同技术的优缺点进行工艺耦合,并以能耗指数(ECI)为评价指标进行了优化。本文选择广州某垃圾填埋厂的填埋
随着半导体工艺节点的迭代升级,商用芯片因其高性能低成本等特点,越来越受到航天任务的青睐。空间环境中高能粒子穿过半导体材料的敏感区,产生的单粒子效应会使搭载商用芯片的航天器暂时故障甚至永久报废。作为最常用的两款商用芯片,先进可靠的SRAM型FPGA和高精度高采样速率ADC是顺利进行航天探索的关键一环。以往的SRAM型FPGA单粒子效应测试系统的设计,主要集中在某一工艺节点的单粒子效应研究,对各工艺节
聚酰胺-胺(PAMAM)树状大分子由于体积小、表面易修饰、内部疏水等优点,因此广泛应用于递送药物、基因治疗、生物成像等医药学领域。由于PAMAM具有一定的细胞毒性和溶血性,且在循环过程中易于清除等诸多问题限制了其医学应用。此外,PAMAM具有作为药物输送载体之外的生物学效应,可以在不同细胞系中诱导细胞自噬。由于自噬与肿瘤存在双重关系,这为肿瘤治疗提供了两种截然不同的思路:抑制自噬提高抗癌治疗效果,
图像抠图算法致力于求出给定图像的alpha掩膜,进而提取出图像的前景部分,来实现背景替换等操作。这一技术已经在影视剪辑,图像后期等产业广泛使用。同时,图像抠图算法应用在很多计算机视觉相关任务的数据预处理流程中,如去雾、去雨等,也受到了学术界的广泛关注。尽管借助深度学习技术,近年来的图像抠图算法效果得到了很大的提升,但图像抠图算法中存在的一个缺陷一直没有得到成功解决,那就是需要额外先验知识来辅助算法