基于批量递归最小二乘的自然Actor-Critic算法

来源 :浙江大学学报(工学版) | 被引量 : 0次 | 上传用户:X80908888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了减轻Actor-Critic结构中智能体用最小二乘法估计自然梯度时的在线运算负担,提高运算实时性,提出新的学习算法:NAC-BRLS.该算法在Critic中利用批量递归最小二乘法估计自然梯度,根据估计得到的梯度乐观地更新策略.批量递归最小二乘法的引入使得智能体能根据自身运算能力自由调整各批次运算的数据量,即每次策略估计时使用的数据量,在全乐观和部分乐观之间进行权衡,大大提高了NAC-LSTD算法的灵活性.山地车仿真实验表明,与NAC-LSTD算法相比,NAC-BRLS算法在保证一定收敛性能的前提下,能够明显降低智能体的单步平均运算负担.
其他文献
近年来,生命科学史的教育价值越来越受到国内外生物教育界的重视。我国在这方面的研究也越来越深入。本文首先对生命科学史的教育价值及意义进行了分析。对于即将步入教师工作
现如今的会展不仅仅是单纯的商业交流,逐步崛起成为新的热门行业,给加速城市建造、交通、能源与就业等方面的进步与推动民众传统理念的改变与沟通都拥有强大的影响力。展示便
城市的发展过程,是在内外部动力机制的共同作用下,结构与解构交织演进的过程。而城市空间,忠实记录着每一次城市固有秩序的弱化散构及新秩序的重构,反映着城市的独特内涵。在
目的:观察血液灌流(HP)联合血液透析(HD)对慢性维持性HD患者终末期肾病(ESRD)肾性贫血的疗效。方法:选择我院维持性HD患者40例,随机分为治疗组(HD联合HP)和对照组(仅行HD)各2
随着高速公路建设的迅速发展,我国在80年代末90年代初开始修建的许多高速公路,路面使用性能逐步下降,并出现多种病害与不同程度破损。我国路网中沥青路面迫切需要养护的现状,标志
《菩萨蛮·黄鹤楼》是毛泽东同志于1927年作词,罗斌同志于1959年谱曲创作完成的一首诗词艺术歌曲。该词是毛泽东在途径黄鹤楼时,以描写山河来抒发对国家兴衰的热切期待和沉郁
在阐述大西高速铁路长大坡道分相设置情况的基础上,分析动车组列车过分相时的阻力、司机操纵方式与初速度的关系,提出不同情况下相应的司机操纵方式。结合大西高速铁路线路动
目的:探讨血乳酸检测在小儿脓毒症预后评估中的临床价值。方法:87例脓毒症患儿根据入院时乳酸水平分为<2.0 mmol·L-1组(n=42)、2.0~3.9 mmol·L-1组(n=28)、≥4.0 mmol·L-1
<正>1教师要追求非功利化的数学教学江苏近几年的高考数学试卷,难度起伏较大,评分标准波动大,超出江苏普通高中数学课程标准教学要求的题目也偶有出现,这对数学教学产生了一
光海君在位期间的内外局势对其执政极为不利:就内部局势而言,宣祖末年的政治经济状况造成了朝鲜极不稳定的内部环境;就外部局势而言,随着明朝和后金之间的利益冲突不断激化,它们之