论文部分内容阅读
递归神经网络因其具有丰富的动力学特性而得到广泛的应用。目前在使用过程中存在网络状态的稳定性较难保证、训练算法网络不易收敛以及不能根据任务自适应调整结构等问题。本论文结合动力学系统的相关理论,针对以上问题进行了递归神经网络的结构设计、学习算法以及结构自组织算法等研究工作,并将其应用在污水处理过程的建模与控制过程中,验证了算法的有效性。论文的主要内容有:1)网络结构设计为了平衡递归神经网络逼近能力与网络内部状态的稳定性,本文提出了一种稳定的递归神经网络(Stable Recurrent Neural Network, SRNN)结构设计方法。该方法设计了两个隐含层。其中一个为反馈隐含层,另一个为自组织隐含层。反馈隐含层内每2个神经元形成一个块结构,使得网络较容易获得稳定性条件的同时,具有较丰富的动力学特性。自组织隐含层可以实现不同块之间历史信息的相互传递,增强了网络的逼近能力;在结构自组织阶段,该层可以用于组织不同的动力学子系统协同工作,使得网络可以根据任务不同调整自身的结构。将该网络应用于对非线性动力系统的逼近实验。实验结果证明,与其他递归网络相比,该网络具有较强的逼近能力,同时网络稳定性条件限制较弱,实用性较高。2) SRNN网络的训练算法设计递归神经网络训练算法的实质是在误差曲面上逐步寻优的一个过程。通过对递归网络的误差曲面进行了由简入繁的分析,得到递归网络误差曲面的特点。为了提高网络的整体性能,针对递归网络误差曲面的特点,为SRNN网络分别设计了初始化方法以及训练算法。在初始化方面,提出了一种基于分块-均匀设计的初始化方法。该方法将误差曲面分成若干个块,使用均匀设计的理论设计试验方案得到了误差较低的区域,使得算法可以在该区域随机选择一个较优的初始迭代点。在训练算法方面,提出了一种改进的梯度下降算法。该算法使用约束优化算法实现了对权值的调整,使得SRNN可以在状态稳定的区域内进行搜索,有效避免了训练过程网络状态容易发散的问题,有效提高了SRNN网络的逼近精度。对非线性动力学系统和Lorenz时间序列进行预测的实验结果表明,该初始化方法和训练算法容易收敛。在保证网络状态稳定的前提下,有效的提高了网络的逼近能力。3) SRNN网络的自组织设计SRNN网络隐含层内神经元过少,网络的逼近能力较弱;神经元过多,则存在较多的冗余神经元,动力学特性较复杂,网络状态容易发散且计算成本较高。针对以上问题,结合SRNN网络的特点,文中提出了一种结构增长型学习算法。该方法通过增加子系统的个数来实现SRNN网络的结构调整。通过对非线性动力学系统的逼近实验验证了该算法的有效性。除此之外,针对网络需要在线同时处理多个任务的情况,文中还提出了另一种基于动力学分析的结构自组织算法,使SRNN网络可以根据任务的不同自适应的激活相应的子系统协同完成任务。4)递归神经网络在非线性系统中的应用研究人工神经网络被广泛应用于非线性系统的建模、控制以及优化过程。本论文以高度非线性、大时变、大滞后的污水处理过程为例,结合SRNN网络自身的特点,为污水处理过程设计了关键水质参数的在线软测量模型;将SRNN网络与自适应控制相结合提出一种基于SRNN模型的自适应控制策略,实现了污水处理过程的溶解氧控制;借助SRNN模型的优势,得到一种求解离散HJB方程的有效方法,将其应用在污水处理优化控制当中,有效的降低了污水处理过程的能源消耗。