论文部分内容阅读
基于神经生物学的实验现象和合理的计算假设,一些神经可塑性机制的计算模型被提出并在提升人工神经网络性能方面发挥着重要作用。通过计算建模模拟生物神经机制的工作过程有助于人类更好地理解神经系统在信息的表达、处理、存储等过程的内在工作机制和生物计算过程。然而,现有的神经可塑性的计算建模同样面临一些需要克服的问题,诸如突触可塑性中的稳定性问题、单一的神经可塑性学习规则所导致的表现不佳以及对生物神经可塑性机制的认识仍然存在不足等。本文以现有的神经可塑性学习规则和神经生物学研究知识为理论基础,以回声状态网络在一些仿真问题和实际任务中的测试实验为应用基础,针对现有的神经可塑机制在储备池优化过程所面临的一些问题进行研究,主要内容如下:(1)现有的突触可塑性学习规则在储层连接权重的调节过程中采用的可塑性规则不仅学习机制相同而且可塑性参数也只局限于单一的全局参数。单一类型的可塑性规则可能无法捕获生物神经可塑性的本质,并且在实际应用中也是不灵活的,进而无法有效地提升系统的学习性能。基于此,本博士论文从单个神经元的角度设计了一种局部突触可塑性学习规则,即不同的储层神经元可以采用完全不同的突触可塑性规则或不同参数的同种突触可塑性规则进行局部的可塑性调节。这一过程是通过协方差矩阵自适应进化策略优化局部可塑性中规则参数来实现的。研究表明,进化的神经可塑性实现了不同可塑性规则的协同学习,并在提升学习性能方面起着重要作用。同时,我们证明了局部可塑性规则可以有效地缓解感觉输入的结构学习中的突触干涉问题。将所提出的局部可塑性规则的回声状态网络在一些预测和分类任务上与一些最先进的回声状态网络模型和基于全局可塑性规则的回声状态网络进行了比较,证明了其极具竞争性的学习性能。(2)不同于突触强度的调节,内在可塑性作为一种生物学启发的无监督学习规则可用于调节储层神经元的内在兴奋性。现有的内在可塑性规则对整个储层神经元只能选择一组固定的规则参数,由于现有的内在可塑性缺乏一定的灵活性,因此可能会影响网络的学习性能。在本文中,我们提出了具有局部内在可塑性规则的回声状态网络,即不同储层神经元可以采用不同规则参数的内在可塑性规则用以调整神经元的内在兴奋性。对于不同储层神经元的规则参数使用协方差矩阵自适应进化策略来搜索和选择。与几类最新的回声状态网络模型和具有全局内在可塑性规则的章节论回声状态网络相比,所提出的局部内在可塑性规则在一些基准预测任务中能够实现更好的表现。(3)突触可塑性和内在可塑性作为两类最为常见的神经可塑性机制贯穿于所有神经回路的整个生命历程。神经生物学的研究表明突触和内在可塑性之间的相互作用有助于神经系统适应不同的突触输入信号。然而,现有的神经可塑性的计算模型大多是单独考虑这两种可塑性机制,这在生物学上是不合理的。本文提出了一种协同可塑性学习规则用以调节回声状态网络中的储层连接。其中,不仅考虑突触权重的调节,同时还涉及神经元内在兴奋性的变化。所提出的协同可塑性规则在一些预测和分类的基准问题上得到了验证,我们的实验结果表明具有协同可塑性学习规则的回声状态网络的性能要优于一些最新的回声状态网络模型和具有单一神经可塑性规则的回声状态网络。(4)现有的神经可塑性的计算建模的研究大多聚焦在突触可塑性。然而,由单一的突触可塑性调节所导致不稳定的学习行为仍然存在于一些机器学习任务中。本文通过调节连接权值以及增加/删除的储层内部神经元构建了一种新的结构突触可塑性学习规则克服了突触可塑性学习过程的不稳定性。在实验中,我们还发现,在不断变化的网络结构中一些较大且稳定的连接权值可以持续很长时间,这被认为是维持长期记忆的基础。观察的结果与一些生物学文献和实验现象也是一致的。最后,将具有结构突触可塑性规则的回声状态网络在一些基准预测任务中与几类最先进的回声状态网络模型以及具有突触可塑性规则的回声状态网络进行了比较。结果表明,基于结构突触可塑性学习规则的回声状态网络具有更好的性能。最后,对本论文的研究内容进行了总结,并对下一步的研究工作和相关问题进行了展望。