基于多智能体强化学习的电动汽车购售电交互博弈策略

来源 :华北电力大学(北京) | 被引量 : 0次 | 上传用户:tingyuan2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
电动汽车(electric vehicle,EV)有序充电是实现在智能电网环境下车网协同发展和提高综合社会福利的重要手段。而价格信号是推动电动汽车车主积极响应电网需求的重要指标,怎样在不同的政策参数和用户响应场合动态合理的制定购售电价格,是电动汽车普及推广中应考虑到的核心难点之一。而单从物理运行角度调节EV充电特性或调整电力系统运行的传统模式已经难以调动EV有序充电的交互积极性。充分利用电动汽车代理聚合商(electric vehicle aggregator,EVA)在电力市场灵活购售电优势参与多方博弈是应对复杂变化环境并发掘经济潜能的重要手段。在此背景下,本文采用多智能体强化学习模拟在现实环境下EVA参与的购售电博弈模型,根据交互决策的博弈均衡解进行内外层优化,主要工作内容如下:对于购电模型,考虑到随着电力系统新能源渗透率的不断提高,电力现货市场价格频繁发生较大波动的现状,为了锁定收益,EVA应该把盈利的主要目标转向中长期市场。随着电力体制改革不断推进,在交易标的、组织方式、出清方法、政策要求等方面,电力中长期交易都发生了较大变化,亟需探索中长期市场政策变动下EVA的报价策略。基于博弈均衡理论,本文建立EVA参与中长期电力市场下考虑配额制交易的非合作博弈模型,考虑到传统强化学习方法难以实现对多主体非完全信息博弈模型的求解,本文采用多智能体深度确定性策略梯度算法(MADDPG)求解上述背景下的模拟仿真场景。最后,通过算例分析证明了所提模型在仿真简化多主体博弈环境下的有效性。对于售电模型,根据中长期代理购电的输入解,对灵活性不足的部分采用考虑现货市场的补充手段。考虑到传统的EVA采用的固定服务费定价模式,难以有效引导需求侧资源响应电力市场价格信号。而实时定价策略能够灵活反应市场供需情况,引导电动汽车用户用电行为,降低无序充电对电力系统稳定性产生的负面影响,充分挖掘EVA参与电力市场的经济潜力。本文依托电动汽车用户历史行为数据,以峰谷分时、需求侧响应、现货市场偏差平衡的多市场交易模式下EVA综合收益最大化为目标函数,建立了基于强化学习算法的96点V2G动态分时定价模型,并对比了 EVA在同种算法下峰谷平定价与小时定价策略的收益对比。结果表明定价频率更高的方案可以更有效引导用户的充电行为,在更大程度上挖掘电力市场的经济潜力的同时,平抑电网的负荷波动。
其他文献
继承法无论是对个人生活还是民族国家都具有重要意义。我国《继承法》实施35年来,对调整继承关系、化解继承纠纷发挥了非常重要的作用。但世事变迁,从计划经济到实行社会主义市场经济,从严格执行计划生育到放开二胎政策,我国国民经济生活方式、家庭结构、思维理念都发生了巨大转变,《继承法》的修改势在必行。乘着《民法典》编撰的东风,《继承法》以《民法典·继承编》的形式重新亮相。《民法典·继承编》对人们关切的许多问
学位
光滑质点水动力学法(Smooth Partical Hydraulics,SPH)是一种近年来发展比较迅速的无网格数值模拟方法,在处理自由表面流方面具有优势。在以往的SPH算法中加入一定的湍流模型可以优化算法,考虑研究自由表面流问题中湍流所带来的影响,可以提高数值模拟结果的计算精度。本文首先介绍了SPH方法的基本原理和控制方法,其次,在δ-SPH算法的基础上对δ-LES-SPH算法和k-ε-SPH
学位
在科技创新成为国际战略博弈主要战场、国内各城市间人才资源争夺内卷化的背景下,海外人才的引进是避免我国陷入人才资源“内卷化陷阱”的重要举措之一。海外归国人才作为我国人才队伍中一支重要组成部分,是推动各个国家、地区发展的重要力量。但区域网络层面的各项创新支持措施是否能够跨越组织传达到海外归国人才个体层面一直存疑。因此,从区域创新网络嵌入视角识别激励海外归国人才创新活动的内在关键因子,对建设国家高新区、
学位
对话学习是近年来学者们一致关注的热点话题。大学英语是一门必修课程,将对话引入大学英语学习符合时代和新课程观的要求。但当前关于大学英语对话学习的实证研究不足。基于此,论文以巴赫金的对话理论为基础,对大学生英语对话学习进行了调查研究,研究问题如下:(1)大学生英语对话学习情况如何?(2)影响大学生英语对话学习的因素有哪些?论文采用问卷、访谈以及课堂观察的研究方法,对学生自身对话能力、对话类型、对话内容
学位
旅游企业需要授权型领导。伴随着组织结构扁平化和分散化,授权型领导能帮助员工更好地满足顾客的个性化需求而在旅游企业中发挥重要作用。旅游企业的一个重要研究问题是如何培养授权型领导者。领导者并非天生形成的,而是可以经后天发展而成的,也就是说,授权型领导者是可以培育的。那么,旅游企业应该如何培育授权型领导者呢?在旅游企业的组织情境中,领导风格、行事方式不尽相同的领导者对其追随者的期望与需求必然存在区别。相
学位
目的收集青海省肺结核病例资料,分析其流行病学特征与空间流行病学特征,了解其高发、聚集、高风险区域与人群;进一步结合社会学、环境气象学资料,分析青海省肺结核流行的宏观因素,以期为青海省肺结核防控工作提供科学指导。方法(1)收集2011-2020年青海省肺结核登记报告病例(Ⅰ-Ⅴ型)数据、社会学指标、环境气象学等资料,建立Excel数据库,分析肺结核流行病学特征。(2)应用Arc GIS软件建立青海省
学位
“以文促旅、以旅彰文”是在新发展阶段促进文化传播、推动旅游业发展的重要方式。2018年3月国家文化和旅游部正式组建,这表明文旅融合已经上升至国家战略层面,社会各领域人士都高度关注。旅游产业是西宁市的支柱产业之一,为地区经济带来了极大的效益,但在新发展时期,其发展也面临着多重挑战,传统的发展模式逐渐无法满足游客不断提升的个性化消费理念和精神文化需求,限制了西宁市旅游产业的可持续发展。西宁市急需找寻一
学位
为实现“三农”现代化的高质量发展,习近平总书记在党的第十九次全国代表大会上,提出了乡村振兴战略。随后就乡村振兴战略的基本原则,在《乡村振兴战略规划(2018—2022年)》中提纲挈领地指出要坚持农民主体地位。作为青海省农业发达地区的海东市,在乡村振兴战略的科学指引下,致力于新型职业农民的培育,使得农民群众的自主参与意识、生态文明意识、文化自觉意识、民主意识和创造意识较之以前得到了显著提升。然而,在
学位
随着新能源发电的大规模接入,电力系统正面临严峻的挑战,在此背景下,储能系统将成为支撑我国电力系统转型升级以及能源发展战略的核心技术之一。储能技术是新型电力系统的重要组成部分,能有效解决新能源发电并网问题、提高电力系统稳定性、安全性、经济性以及灵活性。在上述背景下,本文对适应新能源大规模接入的储能优化配置方法展开了研究。具体工作如下:第一部分,首先对现阶段储能技术进行调研,从机械储能、电化学储能和电
学位
津巴布韦的卫生部门遭受了腐败及其恶习的许多影响。腐败转移了资源并造成了短缺,这已成为卫生部门有据可查的腐败。这导致了卫生部门的不稳定。该研究使用年龄在25至63岁之间的15名参与者的定性研究方法,确定了以哈拉雷中央医院为代表的卫生部门的主要腐败类型。其中包括资金管理不善、贿赂、免费服务收费过高、盗窃以及其他形式的腐败。研究表明,哈拉雷中央医院官员通过购买陈旧设备和挪用医院资金用于个人用途,参与滥用
学位