论文部分内容阅读
由于反馈结构的存在,递归神经网络具有良好的动态性能,被广泛应用时间序列预测,非线性动态系统建模,实时非线性系统控制等方面,本文主要对Elman网络和回声状态网络两种递归神经网络进行了研究。作为一种典型的局部递归网络,如何确定结构简单、性能优良的Elman网络结构是其棘手问题。为了克服这一问题,本文提出了PLM训练方法,将剪枝优化加入到训练过程中,以获得最优的结构。在PLM训练过程中,起始是一个较大结构的网络,随着训练的进行,冗余的隐层和承接层节点被删除,而权值主要采用L-M算法进行调整。在一次剪枝操作中,拥有最小灵敏度的隐层节点及对应的承接层节点将会被删除,而基于训练误差可变的剪枝间隔被用来对上一次剪枝操作的成功与否以及训练的结束与否进行判断。训练结束,得到的模型为PLM-ENN。对于新型的回声状态网络,为了提高其泛化能力和对具体问题的适应性,提出基于互信息知识的DMI优化方法对ESN网络的输入伸缩参数以及网络结构进行优化。该优化方法主要分为两个部分:一是基于网络输入与输出之间的互信息,对网络的多个输入伸缩参数进行调整;二是基于储备池状态与网络输出之间的互信息,对网络的输出权值进行剪枝优化。优化结束后,所得模型称为DMI-ESN.青霉素补料分批发酵过程作为典型的发酵过程,具有极强的非线性、时变性以及非确定性,将所提出的PLM-ENN和DMI-ESN模型分别应用到对其中关键生物变量的建模预测中。测试结果表明,这两种模型都实现了对关键变量的准确预测。加入了灵敏度剪枝的PLM-ESN模型,获得了合适的结构,而且与未剪枝的模型相比,有着更好的性能。基于互信息进行优化的DMI-ESN模型,与优化前的模型的测试情况相比,模型的预测性能得到了很大提高,而与其他建模方法的对比也表现了DMI-ESN模型的优越性。