脉冲强化学习算法研究综述

来源 :计算机学报 | 被引量 : 0次 | 上传用户:hulaxiazai
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
借助人工神经网络(Artificial Neural Network,ANN),深度强化学习在游戏、机器人等复杂控制任务中取得了巨大的成功.然而,在认知能力与计算效率等方面,深度强化学习与大脑中的奖励学习机制相比仍存在着巨大的差距.受大脑中基于脉冲的通信方式启发,脉冲神经网络(Spiking Neural Network, SNN)使用拟合生物神经元机制的脉冲神经元模型进行计算,具有处理复杂时序数据的能力、极低的能耗以及较强的鲁棒性,并展现出了持续学习的潜力.在神经形态工程以及类脑计算领域中,SNN受到了广泛的关注,被誉为是新一代的神经网络.通过将SNN与强化学习相结合,脉冲强化学习算法被认为是发展人工大脑的一个可行途径,并能够有效解释生物大脑中的发现.作为神经科学与人工智能的交叉学科,脉冲强化学习算法涵盖了一大批杰出的研究工作.根据对不同领域的侧重,这些研究工作主要可以分为两大类:一类是以更好地理解大脑中的奖励学习机制为目的,用于解释动物实验中的发现,并对大脑学习进行仿真,例如R-STDP学习规则;另一类则是以实际控制任务中的性能、功耗等具体指标为导向,用作人工智能的一种鲁棒且低能耗的解决方案,在机器人、自主控制等领域具有巨大的应用潜力.本文首先介绍了脉冲强化学习算法的基础(即脉冲神经网络以及强化学习),然后对当前这两大类脉冲强化学习算法的研究特点与研究进展等进行分析.对于第一类算法,本文重点分析了利用三因素学习规则实现的强化学习算法,并回顾了其生理学背景以及具体实现方式.根据在训练过程中是否使用ANN,本文将第二类算法分为依托ANN实现的脉冲强化学习算法与基于脉冲的直接强化学习算法,并率先对这一脉冲强化学习算法的最新进展进行了系统性的梳理与分析,同时全面展示了在深度强化学习算法中应用SNN的不同方式.最后,本文对该领域的研究挑战以及后续研究方向进行了深入的探讨,总结了当前研究的优势与不足,并对其未来对神经科学以及人工智能领域可能产生的影响进行展望,以吸引更多研究人士参与这个新兴方向的交流与合作.
其他文献
为了加快推进教育现代化,建设教育强国,智慧教学云平台支持下的网络学习空间的应用成为教育教学应用常态,为教育教学赋能。在实施智慧课堂教学过程中,将信息技术与教育教学深度融合,将传统教学与基于网络学习空间的智慧课堂教学相结合,摸索教育发展的智慧课堂教学模式,为课堂教学提质增效。
期刊
随着“三通两平台”的建设,网络教学已成为教学中不可或缺的教学模式。2019年珠海经济技术开发区(高栏港经济区)管理委员会社会保障和公共事业局被广东省教育厅定为“人人通”试点区单位,“人人通”网络学习空间在高栏港区中小学教育教学中的应用实践逐步推进。2020年因“新冠”疫情影响,网络学习空间的应用由“被动”推进转变成“主动”开展,文章结合区域内中小学校教师、学生在疫情环境下,利用“人人通”开展在线教
期刊
期刊
目的 分析快速康复护理在骨科患者中的应用效果,促使患者快速恢复健康。方法 选取2020年6月—2021年6月在玲珑英诚医院收治的76例骨科手术患者为研究对象,随机将其均分为对照组和观察组各38例。对照组行常规护理,观察组行快速康复护理,比较两组患者术后恢复时间及并发症发生率。结果 观察组骨折愈合时间为(91.15±5.35)d,总住院时间为(14.81±4.14)d,下床锻炼开始时间为(5.02±
期刊
期刊
目的 探讨多发性皮脂腺囊肿患者的护理体会。方法 在2019年1月—2020年7月期间,随机将85例多发性皮脂腺囊肿患者分为两组,对照组应用常规护理,研究组应用优质护理。结果 与对照组相比,研究组脱痂时间、红斑消退时间、复发率及不良反应发生率、SAS评分、SDS评分低于对照组(P <0.05),满意度高于对照组(P <0.05)。结论 对多发性皮脂腺囊肿患者应用优质护理干预,可增强治疗疗效,有效改善
期刊
期刊
期刊
<正> 岛国虽小乱子却多科摩罗是非洲的一个小岛圆,地处印度洋西部,由大科摩罗、昂儒昂、莫埃利和马约特4个岛屿组成。地不过2000余平方公里,民不足50万。自1975年独立以来,政局一直动荡不安,曾先后发生过几次政变。新近这个印度洋中的小岛国再掀风浪。9月28日清晨,66岁的法国雇佣、兵、前科摩罗总统卫队队长鲍勃·德纳尔率领一批外国雇佣兵和曾参加1992年科摩罗
期刊
癌毒病机理论是本团队在传承国医大师周仲瑛“癌毒”学术思想的基础上创建的癌毒病机辨治体系,其以癌毒为中心,阐述了肿瘤发生发展的病机演变规律,为肿瘤的辨证论治提供了重要指导。癌毒病机理论认为,卵巢癌的病位在胞宫、冲任,与肝、肾密切相关。其主要病理因素为虚、瘀、湿、毒,其中,以“瘀”为主,而夹“毒”。其核心病机为湿浊瘀毒,肝肾两虚。病机演变过程始于肝肾两虚,继而精、气、血亏虚,脉道失养,因虚致瘀,阻滞气
期刊