论文部分内容阅读
机器学习与计算智能在学术和工业等研究领域得到越来越多的应用,而人工神经网络正是这许多研究的中心,所以能够有效地构建和训练人工神经网络是对此领域极为重要的推进。目前研究表明,对于包含许多计算节点的人工神经网络来说,紧凑的结构能表现出更好的泛化性能。而径向基(Radial Basis Function,RBF)神经网络即是一种能有效地构建紧凑网络结构的神经网络。RBF神经网络是由Broomhead和Lowe在80年代末提出的一种具有单隐层的三层前馈型神经网络。RBF神经网络是一种局部逼近网络,如果网络中的隐含层节点数足够多,则它能以任意精度逼近任意连续函数,具有其他前馈网络所不具备的全局最优特性和最佳逼近性能。人们一直在努力改进RBF神经网络的性能,如收敛速率、泛化性能、鲁棒性能等,而这些性能的好坏很大程度上取决于使用何种RBF神经网络学习算法。对于RBF神经网络学习算法而言,我们关注的主要指标有算法的训练时间、训练后的网络结构复杂度、算法的学习精度、执行时间以及泛化能力。一旦神经网络结构被选定,许多算法,如误差反向传播法(BP)、极限学习机(ELM)系列算法都可以用来训练网络。其它算法,如资源分配网络(RAN)、最小资源分配网络(MRAN)和广义生长-剪枝径向基神经网络(GGAP)算法被构造时也可以训练网络。然而,许多这些算法在达到适当的解决方案之前,通常需要数十或数百个训练参数设置不同和初始条件随机选择的实验,因此这些算法极有可能导致训练网络出现规模过大和训练时间过长的问题。为了解决以上训练过程中所出现的问题,本文提出了基于列文伯格-马夸尔特(Levenberg-Marquardt,LM)算法改进的RBF神经网络误差校正算法(LM-EC1误差校正算法)。通过采用本文提出的优化算法提高了RBF神经网络结构的紧凑度和误差收敛速度。此外,在改进的算法基础上进一步优化得到LM-EC2误差校正算法,并在高度非线性Benchmark问题和数据中进行测试,以展现所改进算法的能力和鲁棒性。本文的主要工作包括:(1)提出一种基于LM的RBF神经网络离线算法,称为LM-EC1误差校正算法。LM-EC1误差校正算法是逐一增量构造和训练的,即从头开始,在每次算法迭代中一个一个地添加RBF神经元节点。新的RBF神经元使用改进的LM二阶方法来训练,以消除误差曲面的最高峰值(或最低谷值)。重复这个过程,直到达到所需的误差水平。该算法能以更少的网络节点达到给定问题的期望误差水平。(2)改进LM-EC1误差校正算法。针对LM-EC1算法训练时间过长的问题,进一步提出LM-EC2误差校正算法。LM-EC2误差校正算法通过每次迭代增加2个RBF神经元的方法,有效地选择神经元中心来进行误差校正,最终加快算法的训练时间和执行时间,以得到更快的误差收敛速度。基于以上工作,通过将提出的两种算法和另外一些现代算法用在高度非线性Benchmark问题和数据中进行对比实验,证明了新提出的两种误差校正算法能得到较低的误差和非常紧凑的网络结构,这种紧凑性能大大缩短网络的执行时间,且LM-EC2算法比LM-EC1算法有更快的训练和执行速度。