论文部分内容阅读
在大规模可再生能源并网的趋势下,风电、光伏等间歇性电源出力的不确定性给电网调度运行带来了挑战。传统调度方法通常建立在对不确定性进行模糊建模或概率建模的基础上,当系统同时包含风、光、荷等复杂随机性因素时,整体不确定性的精确建模存在难度,调度结果的准确性将受到影响。而强化学习通过学习模型与所处环境的不断交互,利用反馈信息逐步改进决策能力,同样是基于预测-决策的模式,能够在不确定性问题的决策中发挥积极作用。
本文研究了基于深度强化学习的自适应不确定性经济调度方法。首先,选择了适用于解决高维连续决策问题的深度确定性策略梯度算法(Deep Deterministic Policy Gradient,DDPG)作为深度强化学习的核心算法。分析了强化学习的决策模式在形式和目标上与经济调度问题的契合度,总结了强化学习方法避免环境建模和自适应不确定性的方式,提出了强化学习方法应用于实际问题时的设计思路。
针对含风、光、荷复杂不确定性的电力系统动态经济调度问题,提出了基于深度强化学习的自适应不确定性经济调度方法。在避免对系统复杂不确定性进行建模的前提下,建立了以随机变量表示的电力系统动态经济调度模型;进一步将该模型定义为强化学习中马尔可夫决策过程的模式,在状态转移和即时奖励的定义中涵盖对所有优化目标和约束条件的考虑;针对算法在不同随机性场景下的适用性,设计了模型泛化机制;针对DDPG训练不稳定的问题,设计了衰减探索、增设经验回放池和调整环境感知-学习比的算法机制,构建了一套完整的经济调度问题的深度强化学习求解模式。在含5个常规机组的算例系统中验证了DDPG对不确定性的自适应性和调度结果的经济性,对算法的收敛性、稳定性和算法局限性进行了分析。
针对考虑机组启停决策的混合整数随机规划性质的机组组合经济调度问题,提出了基于模仿学习和强化学习的机组组合经济调度方法。针对复杂问题背景下DDPG前期学习的盲目性问题,引入模仿学习,提出了学习范例的深度确定性策略梯度算法(Deep Deterministic Policy Gradient from Demonstrations,DDPGfD),利用传统调度决策经验来改善强化学习前期训练速度。在前文提出的经济调度问题的深度强化学习求解模式基础上,针对机组启停决策进行了状态转移规则的设置;针对增加考虑的旋转备用置信水平约束、线路传输容量约束等复杂约束,提出了学习序列提前终止机制。最后,在IEEE-39节点系统中验证了所提方法的可行性,结果表明,论文所提出的DDPGfD算法能够自适应间歇性电源出力的不确定性,学习到较调度决策经验更优的调度策略;论文所设计的算法机制在学习过程中起到了关键作用。
本文研究了基于深度强化学习的自适应不确定性经济调度方法。首先,选择了适用于解决高维连续决策问题的深度确定性策略梯度算法(Deep Deterministic Policy Gradient,DDPG)作为深度强化学习的核心算法。分析了强化学习的决策模式在形式和目标上与经济调度问题的契合度,总结了强化学习方法避免环境建模和自适应不确定性的方式,提出了强化学习方法应用于实际问题时的设计思路。
针对含风、光、荷复杂不确定性的电力系统动态经济调度问题,提出了基于深度强化学习的自适应不确定性经济调度方法。在避免对系统复杂不确定性进行建模的前提下,建立了以随机变量表示的电力系统动态经济调度模型;进一步将该模型定义为强化学习中马尔可夫决策过程的模式,在状态转移和即时奖励的定义中涵盖对所有优化目标和约束条件的考虑;针对算法在不同随机性场景下的适用性,设计了模型泛化机制;针对DDPG训练不稳定的问题,设计了衰减探索、增设经验回放池和调整环境感知-学习比的算法机制,构建了一套完整的经济调度问题的深度强化学习求解模式。在含5个常规机组的算例系统中验证了DDPG对不确定性的自适应性和调度结果的经济性,对算法的收敛性、稳定性和算法局限性进行了分析。
针对考虑机组启停决策的混合整数随机规划性质的机组组合经济调度问题,提出了基于模仿学习和强化学习的机组组合经济调度方法。针对复杂问题背景下DDPG前期学习的盲目性问题,引入模仿学习,提出了学习范例的深度确定性策略梯度算法(Deep Deterministic Policy Gradient from Demonstrations,DDPGfD),利用传统调度决策经验来改善强化学习前期训练速度。在前文提出的经济调度问题的深度强化学习求解模式基础上,针对机组启停决策进行了状态转移规则的设置;针对增加考虑的旋转备用置信水平约束、线路传输容量约束等复杂约束,提出了学习序列提前终止机制。最后,在IEEE-39节点系统中验证了所提方法的可行性,结果表明,论文所提出的DDPGfD算法能够自适应间歇性电源出力的不确定性,学习到较调度决策经验更优的调度策略;论文所设计的算法机制在学习过程中起到了关键作用。