基于LM改进的RBF神经网络算法研究

来源 :西南大学 | 被引量 : 0次 | 上传用户:cao240
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器学习与计算智能在学术和工业等研究领域得到越来越多的应用,而人工神经网络正是这许多研究的中心,所以能够有效地构建和训练人工神经网络是对此领域极为重要的推进。目前研究表明,对于包含许多计算节点的人工神经网络来说,紧凑的结构能表现出更好的泛化性能。而径向基(Radial Basis Function,RBF)神经网络即是一种能有效地构建紧凑网络结构的神经网络。RBF神经网络是由Broomhead和Lowe在80年代末提出的一种具有单隐层的三层前馈型神经网络。RBF神经网络是一种局部逼近网络,如果网络中的隐含层节点数足够多,则它能以任意精度逼近任意连续函数,具有其他前馈网络所不具备的全局最优特性和最佳逼近性能。人们一直在努力改进RBF神经网络的性能,如收敛速率、泛化性能、鲁棒性能等,而这些性能的好坏很大程度上取决于使用何种RBF神经网络学习算法。对于RBF神经网络学习算法而言,我们关注的主要指标有算法的训练时间、训练后的网络结构复杂度、算法的学习精度、执行时间以及泛化能力。一旦神经网络结构被选定,许多算法,如误差反向传播法(BP)、极限学习机(ELM)系列算法都可以用来训练网络。其它算法,如资源分配网络(RAN)、最小资源分配网络(MRAN)和广义生长-剪枝径向基神经网络(GGAP)算法被构造时也可以训练网络。然而,许多这些算法在达到适当的解决方案之前,通常需要数十或数百个训练参数设置不同和初始条件随机选择的实验,因此这些算法极有可能导致训练网络出现规模过大和训练时间过长的问题。为了解决以上训练过程中所出现的问题,本文提出了基于列文伯格-马夸尔特(Levenberg-Marquardt,LM)算法改进的RBF神经网络误差校正算法(LM-EC1误差校正算法)。通过采用本文提出的优化算法提高了RBF神经网络结构的紧凑度和误差收敛速度。此外,在改进的算法基础上进一步优化得到LM-EC2误差校正算法,并在高度非线性Benchmark问题和数据中进行测试,以展现所改进算法的能力和鲁棒性。本文的主要工作包括:(1)提出一种基于LM的RBF神经网络离线算法,称为LM-EC1误差校正算法。LM-EC1误差校正算法是逐一增量构造和训练的,即从头开始,在每次算法迭代中一个一个地添加RBF神经元节点。新的RBF神经元使用改进的LM二阶方法来训练,以消除误差曲面的最高峰值(或最低谷值)。重复这个过程,直到达到所需的误差水平。该算法能以更少的网络节点达到给定问题的期望误差水平。(2)改进LM-EC1误差校正算法。针对LM-EC1算法训练时间过长的问题,进一步提出LM-EC2误差校正算法。LM-EC2误差校正算法通过每次迭代增加2个RBF神经元的方法,有效地选择神经元中心来进行误差校正,最终加快算法的训练时间和执行时间,以得到更快的误差收敛速度。基于以上工作,通过将提出的两种算法和另外一些现代算法用在高度非线性Benchmark问题和数据中进行对比实验,证明了新提出的两种误差校正算法能得到较低的误差和非常紧凑的网络结构,这种紧凑性能大大缩短网络的执行时间,且LM-EC2算法比LM-EC1算法有更快的训练和执行速度。
其他文献
台积电宣布2020年的资本开支是150到160亿美元,其中80%将投向先进产能扩增,包括7nm、5nm及3nm。这次说法会上台积电没有公布3nm工艺的情况,因为他们4月份会有专门的发布会,会
佛山市政府今年9月份开始拆除占地4万平方米的城南陶瓷批发市场,并计划在该地兴建现代化的佛山车城.建陶产业是禅城区的支柱产业,陶瓷市场的大面积拆迁自然要引起业界的较大
随着社会经济不断发展,我国煤矿企业中的经济管理模式也在不断地创新,但是由于科学管理技术等因素的限制,经济管理的模式还存在着一些问题。所以,要想在这样的背景下不断地完
第一部分体外受精对小鼠生长发育的影响及其肝脏和骨骼肌Igf2/H19的表达与表观遗传修饰研究目的:研究IVF小鼠的生长发育、肝脏及骨骼肌印记基因Igf2、H19、Igf2r与微小RNA (mi
铁塔是我国高压电力输电新路架设中非常关键的设施,与电力输送线路的运行有着直接的影响。但是铁塔建设工程具有很高的难度系数,在实际施工的过程中会应用到多种技术手段,如果要
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
为研究轻骨料混凝土的抗冲击性能,本文以LC30全轻页岩陶粒混凝土(简称全轻混凝土)和混轻混凝土(也可称为半轻混凝土)为研究对象,采用Φ100mmSHPB冲击试验系统进行试验,分析不
2014-2015年世界电视剧市场整体呈现两大趋势:一是优质、窄众化的电视剧产品日渐成为市场主流,传统的大众电视模式则呈下滑之势;二是网络剧规模性崛起成为全球电视剧行业近年
《办公自动化》有移动办公、居家办公、政务、商务、网络、安全、教育、科技、档案等栏目,集理论、学术、创新、多样于一体,面向社会、面向现实、力争使本刊成为ICT、办公自
菠萝叶纤维作为新型纺织材料,对它脱胶的研究已经引起人们的关注。果胶裂解酶具有降解果胶的作用,木聚糖酶具有降解半纤维素的主要组成部分木聚糖的作用,因此,果胶裂解酶和木