递归神经网络结构设计方法及应用研究

来源 :北京工业大学 | 被引量 : 20次 | 上传用户:guanshui6
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
递归神经网络因其具有丰富的动力学特性而得到广泛的应用。目前在使用过程中存在网络状态的稳定性较难保证、训练算法网络不易收敛以及不能根据任务自适应调整结构等问题。本论文结合动力学系统的相关理论,针对以上问题进行了递归神经网络的结构设计、学习算法以及结构自组织算法等研究工作,并将其应用在污水处理过程的建模与控制过程中,验证了算法的有效性。论文的主要内容有:1)网络结构设计为了平衡递归神经网络逼近能力与网络内部状态的稳定性,本文提出了一种稳定的递归神经网络(Stable Recurrent Neural Network, SRNN)结构设计方法。该方法设计了两个隐含层。其中一个为反馈隐含层,另一个为自组织隐含层。反馈隐含层内每2个神经元形成一个块结构,使得网络较容易获得稳定性条件的同时,具有较丰富的动力学特性。自组织隐含层可以实现不同块之间历史信息的相互传递,增强了网络的逼近能力;在结构自组织阶段,该层可以用于组织不同的动力学子系统协同工作,使得网络可以根据任务不同调整自身的结构。将该网络应用于对非线性动力系统的逼近实验。实验结果证明,与其他递归网络相比,该网络具有较强的逼近能力,同时网络稳定性条件限制较弱,实用性较高。2) SRNN网络的训练算法设计递归神经网络训练算法的实质是在误差曲面上逐步寻优的一个过程。通过对递归网络的误差曲面进行了由简入繁的分析,得到递归网络误差曲面的特点。为了提高网络的整体性能,针对递归网络误差曲面的特点,为SRNN网络分别设计了初始化方法以及训练算法。在初始化方面,提出了一种基于分块-均匀设计的初始化方法。该方法将误差曲面分成若干个块,使用均匀设计的理论设计试验方案得到了误差较低的区域,使得算法可以在该区域随机选择一个较优的初始迭代点。在训练算法方面,提出了一种改进的梯度下降算法。该算法使用约束优化算法实现了对权值的调整,使得SRNN可以在状态稳定的区域内进行搜索,有效避免了训练过程网络状态容易发散的问题,有效提高了SRNN网络的逼近精度。对非线性动力学系统和Lorenz时间序列进行预测的实验结果表明,该初始化方法和训练算法容易收敛。在保证网络状态稳定的前提下,有效的提高了网络的逼近能力。3) SRNN网络的自组织设计SRNN网络隐含层内神经元过少,网络的逼近能力较弱;神经元过多,则存在较多的冗余神经元,动力学特性较复杂,网络状态容易发散且计算成本较高。针对以上问题,结合SRNN网络的特点,文中提出了一种结构增长型学习算法。该方法通过增加子系统的个数来实现SRNN网络的结构调整。通过对非线性动力学系统的逼近实验验证了该算法的有效性。除此之外,针对网络需要在线同时处理多个任务的情况,文中还提出了另一种基于动力学分析的结构自组织算法,使SRNN网络可以根据任务的不同自适应的激活相应的子系统协同完成任务。4)递归神经网络在非线性系统中的应用研究人工神经网络被广泛应用于非线性系统的建模、控制以及优化过程。本论文以高度非线性、大时变、大滞后的污水处理过程为例,结合SRNN网络自身的特点,为污水处理过程设计了关键水质参数的在线软测量模型;将SRNN网络与自适应控制相结合提出一种基于SRNN模型的自适应控制策略,实现了污水处理过程的溶解氧控制;借助SRNN模型的优势,得到一种求解离散HJB方程的有效方法,将其应用在污水处理优化控制当中,有效的降低了污水处理过程的能源消耗。
其他文献
在小学数学课堂教学中,如果教师能充分发挥教学评价的作用,不仅可以激发学生的学习兴趣,调动学生积极思维,增强学生克服困难的决心,让学生认识自我,建立自信,而且还能创造出
美国亚利桑那大学梅克教授,根据问题解决的情境,设计了封闭性、次封闭性、半开放性、开放性、全开放性的五种问题类型,越是封闭性的问题,其答案越是固定唯一;越是开放性的问
难治性青光眼是指由于眼部的病情复杂,并难以建立有效的滤过通道而导致滤过手术失败的青光眼。难治性青光眼常规滤过性手术疗效差,手术成功率11%~52%,最常见的失败原因为滤过泡瘢
目的甘遂为毒性中药,其毒性和刺激性极大地限制了甘遂的临床应用。甘遂和甘草属于传统中药的“十八反”,但甘遂与甘草配伍在很多古方中使用,甘草与甘遂配伍究竟是减小甘遂的毒副
在以硼酸盐为主的碱性水溶液中对7075超高强度铝合金进行不同时间的微弧氧化表面处理,通过SEM和XRD对氧化陶瓷层的组织结构进行了分析,同时研究不同微弧氧化时间对涂层显微硬
进入二十一世纪后,我国中小学音乐教育的课改工作自从零一年到现在已经有十几个年头了,自从课改的提出以后,我国的各个学校都在音乐教学方面进行了积极的探索与研究,特别是大
浅层地热能是地球内部产生的储存在地表以下恒温带200米处、温度低于25℃的热量,是一种绿色无污染的替代能源和清洁能源,所以我们要将该能源利用地利用起来。为了保证浅层地
研究了稻草覆盖对丘陵红壤旱地作物产量提升及土壤改良的效果,以期为南方丘陵红壤旱地土壤培肥、改良及稻草资源合理利用提供指导。通过设置不覆盖稻草、稻草覆盖和稻草覆盖+
于都是赣南重要的县份之一。而于都客家方言作为赣南客家方言的重要组成部分,也具有特别的研究价值。近年来,对于赣南客家方言词汇的研究比较丰富,但是关于于都方言词汇的系统的
美国影片《返老还童》中,主人公本杰明?巴顿的一生与常人的一生正好相反。常人都是在时钟的顺时针旋转中渐渐老去,而他却在时钟的逆时针旋转中返老还童。本杰明身上的种种特