基于神经可塑性机制的回声状态网络自适应学习

来源 :东华大学 | 被引量 : 0次 | 上传用户:bang67640
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于神经生物学的实验现象和合理的计算假设,一些神经可塑性机制的计算模型被提出并在提升人工神经网络性能方面发挥着重要作用。通过计算建模模拟生物神经机制的工作过程有助于人类更好地理解神经系统在信息的表达、处理、存储等过程的内在工作机制和生物计算过程。然而,现有的神经可塑性的计算建模同样面临一些需要克服的问题,诸如突触可塑性中的稳定性问题、单一的神经可塑性学习规则所导致的表现不佳以及对生物神经可塑性机制的认识仍然存在不足等。本文以现有的神经可塑性学习规则和神经生物学研究知识为理论基础,以回声状态网络在一些仿真问题和实际任务中的测试实验为应用基础,针对现有的神经可塑机制在储备池优化过程所面临的一些问题进行研究,主要内容如下:(1)现有的突触可塑性学习规则在储层连接权重的调节过程中采用的可塑性规则不仅学习机制相同而且可塑性参数也只局限于单一的全局参数。单一类型的可塑性规则可能无法捕获生物神经可塑性的本质,并且在实际应用中也是不灵活的,进而无法有效地提升系统的学习性能。基于此,本博士论文从单个神经元的角度设计了一种局部突触可塑性学习规则,即不同的储层神经元可以采用完全不同的突触可塑性规则或不同参数的同种突触可塑性规则进行局部的可塑性调节。这一过程是通过协方差矩阵自适应进化策略优化局部可塑性中规则参数来实现的。研究表明,进化的神经可塑性实现了不同可塑性规则的协同学习,并在提升学习性能方面起着重要作用。同时,我们证明了局部可塑性规则可以有效地缓解感觉输入的结构学习中的突触干涉问题。将所提出的局部可塑性规则的回声状态网络在一些预测和分类任务上与一些最先进的回声状态网络模型和基于全局可塑性规则的回声状态网络进行了比较,证明了其极具竞争性的学习性能。(2)不同于突触强度的调节,内在可塑性作为一种生物学启发的无监督学习规则可用于调节储层神经元的内在兴奋性。现有的内在可塑性规则对整个储层神经元只能选择一组固定的规则参数,由于现有的内在可塑性缺乏一定的灵活性,因此可能会影响网络的学习性能。在本文中,我们提出了具有局部内在可塑性规则的回声状态网络,即不同储层神经元可以采用不同规则参数的内在可塑性规则用以调整神经元的内在兴奋性。对于不同储层神经元的规则参数使用协方差矩阵自适应进化策略来搜索和选择。与几类最新的回声状态网络模型和具有全局内在可塑性规则的章节论回声状态网络相比,所提出的局部内在可塑性规则在一些基准预测任务中能够实现更好的表现。(3)突触可塑性和内在可塑性作为两类最为常见的神经可塑性机制贯穿于所有神经回路的整个生命历程。神经生物学的研究表明突触和内在可塑性之间的相互作用有助于神经系统适应不同的突触输入信号。然而,现有的神经可塑性的计算模型大多是单独考虑这两种可塑性机制,这在生物学上是不合理的。本文提出了一种协同可塑性学习规则用以调节回声状态网络中的储层连接。其中,不仅考虑突触权重的调节,同时还涉及神经元内在兴奋性的变化。所提出的协同可塑性规则在一些预测和分类的基准问题上得到了验证,我们的实验结果表明具有协同可塑性学习规则的回声状态网络的性能要优于一些最新的回声状态网络模型和具有单一神经可塑性规则的回声状态网络。(4)现有的神经可塑性的计算建模的研究大多聚焦在突触可塑性。然而,由单一的突触可塑性调节所导致不稳定的学习行为仍然存在于一些机器学习任务中。本文通过调节连接权值以及增加/删除的储层内部神经元构建了一种新的结构突触可塑性学习规则克服了突触可塑性学习过程的不稳定性。在实验中,我们还发现,在不断变化的网络结构中一些较大且稳定的连接权值可以持续很长时间,这被认为是维持长期记忆的基础。观察的结果与一些生物学文献和实验现象也是一致的。最后,将具有结构突触可塑性规则的回声状态网络在一些基准预测任务中与几类最先进的回声状态网络模型以及具有突触可塑性规则的回声状态网络进行了比较。结果表明,基于结构突触可塑性学习规则的回声状态网络具有更好的性能。最后,对本论文的研究内容进行了总结,并对下一步的研究工作和相关问题进行了展望。
其他文献
利用阿基米德Copula,生存阿基米德Copula,对随机变量与极值统计量之间的相依关系进行了初步的探讨,构造了两类Copula.并在此基础上提出了一种生成Copula的方法.这种方法将特殊Copu
信息化时代的到来,为教育发展带来了新思维。在艺术设计教育方面,融入信息化、科技化的元素,形成交叉性学科,即信息艺术设计教育,结合艺术设计与信息的特点,表现了新型的艺术设计。
期刊
全球最大、专注于数据仓库、大数据分析和整合营销管理解决方案的厂商Teradata公司日前宣布,巴黎银行波兰分行选用Teradata客户关系管理解决方案——Aprimo Relationship Man
随着可穿戴设备功能日趋多样化,设备完成各种传感和计算所需的功耗也成比例地增加,然而小巧且需满足人体工学设计的有限空间注定了可穿戴设备的电池不能成比例地扩容。在开发
皮下脂肪和肌内脂肪含量是决定猪肉品质优劣的关键因素。猪作为脂肪沉积能力较强的家畜,脂肪在体内的分布在一定程度上具有明显的特征:与肉品质及料肉比呈负相关的皮下脂肪与
目的用循证医学的方法评价甲状腺和甲状旁腺手术术后常规使用引流能否降低术后血肿、出血、皮下积液、创口感染的发生率和术后住院时间。方法检索MEDLINE、EMBASE、eoehrane
本文首先介绍了IP多媒体子系统及业务交付平台的分层架构,指出IMS与SDP的组合有助于运营商增加多种系列业务,然后描述了中国电信ISAG与ISMP的架构及主要功能,重点分析了引入IMS对当前中国电信的移动业务网络架构的影响,最后给出了一种基于IMS的固定—移动融合架构。
目的 研究在老年急诊危重症患者抢救中实施改良早期预警评分基础上的层级责任制护理的效果。方法 选择2018年1月~2019年3月中老年急诊危重症92例患者为对象,随机将患者分为2
本文报道一例慢性肾炎、慢性肾功能不全患者,进行血液透析治疗,由于未建立就久怀血管通路而采用穿刺左手桡动脉贵要静脉,导致局部肿胀压迫神经,引起神经损伤。并从护理角度,对此提