论文部分内容阅读
使用神经网络对非线性系统的预测已经具有良好效果与广泛应用。其中循环神经网络在预测中更具优势,但长期以来其学习方法一直没有较大提高。回声状态神经网络是一种新型的循环网络结构与循环网络学习方法,它的结构非常类似生物神经网络,它也具备良好的短期记忆能力。它使用一个大规模的循环网络作为信息的存储池,然后通过计算这个循环网络的状态空间对输出节点的线性回归权值,来最小化学习平方误差,从而达到学习的目的。但是回声状态神经网络有一个矛盾:使用非线性神经元可以使网络的非线性性能提高但短期记忆能力下降,如果任务是象混沌时间序列预测之类复杂任务,既需要网络具有一定非线性又需要尽量大的短期记忆能力,回声状态神经网络就需要超大规模(过千神经元),这样的直接后果就是整个网络的运行学习缓慢,预测阶段因为网络规模的庞大而引入不稳定的因素。根据构建神经网络的先验性角度出发,网络需要使用其它的神经元以改善这一现象,本文提出了向回声状态神经网络内引入小波神经元的算法,在使用相同的训练集时,从预测信号与参考信号的完全重合的部分来看,小波与S形混合神经元的回声状态神经网络比原来纯粹使用S形神经元的回声状态神经网络要多预测46%的距离,同时所运用的时间却只是原来的0.3倍,大大提高了这个本来就已经是在混沌时间序列预测任务中比传统神经网络要优良700倍[1]的新型循环神经网络。本文主要贡献有三点:①将小波神经元使用于循环神经网络里,这是以前传统循环神经网络里鲜有人尝试的。②通常都是需要扩大小波神经元的多样性与正交性,在改善回声状态神经网络的时候却使用小数作为拓展系数来降低小波神经元的多样性以求运行协调与平衡。③在回声状态神经网络的应用上通常使用专家的经验设置,这很不利于高效率的使用计算资源,本文使用了PSO的集群智能优化算法对回声状态神经网络中的参数进行了优化。