论文部分内容阅读
摘 要：本文以典型前馈神经网络中的BP神经网络、RBF网络与ELM网络为代表，介绍了几种网络的特点及研究现状，分析了几种网络今后的研究方向。
关键词：反向传播网络;径向基函数网络;极限学习机网络;前馈神经网络
当前，用于分类的神经网络算法及模型已经广泛应用于科学、工业和医学等不同领域中。按照根据神经网络的拓扑结构划分，可以分为前馈型神经网络和反馈型神经网络。其中前馈型神经网络因其结构简单，方便实现，且计算量相对较少等优点，成为目前研究最为广泛的神经网络。本文主要以典型浅层神经网络中的反向传播（BP）网络、径向基函数（RBF）网络与极限学习机（ELM）网络来展开，以介绍几种网络模型的特性及研究现状。
1 典型浅层前馈神经网络研究现状
从理论上而言，含有单隐层的前馈神经网络能以任意精度逼近给定的连续函数。但是在实际中，由于不同的非线性问题的复杂性以及所使用的网络模型自身的特点，很多情况下往往很难达到所期望的逼近精度。以BP神经网络为例，BP网络隐节点使用的核函数为sigmoid核，采用统一的核参数，优点是泛化性能较好，但是核映射的稳定性较差。典型的BP算法采用基于误差反向传播的梯度下降方法来迭代更新网络权值，由此使得网络的输出误差平方和达到最小。整个学习过程的构成是通过给定的训练样本多次呈现给网络，以进行各层权值不断更新学习。BP神经网络的主要缺点在于收敛速度慢，且经常陷入局部最小的风险，并随着网络隐藏层层数的增加使得这一情况更加严重。尽管很多研究人员研究了对基于梯度下降BP算法的各种改进，但是从严格意义上讲，BP网络隐含层的层数及隐节点的个数选取缺乏理论依据。对于较为复杂的非线性问题，BP网络改进方法的效果往往有限。
RBF网络隐节点使用的核一般是径向基核函数。这种核具有良好的局部响应特性。其核参数的优化主要包括中心位置、核宽以及隐节点个数的确定。在中心位置的参数选取上，文献[1]使用K均值聚类得到的聚类中心作为RBF网络的隐节点中心。文献[2]提出将K均值聚类方法与网络轮廓系数优化方法相结合。文献[3]将输入样本和输出偏差相结合作为RBF网络隐节点中心选取的依据。此外，正交前向选择算法通过正交变换来选取RBF网络的隐节点中心，但不能保证全局最优。
在RBF网络中，隐层节点个数的多少直接决定了整个网络的拓扑结构及规模。一些动态构建RBF网络隐节点的方法被相继提出。文献[4]提出最小资源分配网络（MRAN）可以有效删除部分冗余节点。文献[5]通过度量隐节点的输出信息和隐节点之间的交互信息来确定隐节点的个数。
2004年，黄广斌[6]等人提出一种极限学习机网络模型（ELM）。该网络具有极快的学习速度和较好的泛化性能。在ELM网络中，隐节点的个数是固定的，为了达到较好的网络性能，一般需要设置较多的隐节点个数，因此存在一些非优化的隐节点，这就会造成网络结构的冗余。一些基于ELM网络的增加和裁剪技术被相继提出，用来自动估计ELM网络中隐节点的个数，并进一步优化ELM网络的输入输出权值参数。其他的改进算法尝试对基本的ELM算法进行扩展，使之能更有效地适合特定的问题。
2 总结与展望
本文介绍了BP网络、RBF网络以及ELM网络的特点及研究现状。相对而言，当前BP网络和RBF网络研究的比较成熟，其应用也最广泛。相比与BP网络，ELM具有更好的泛化性能，它能有效克服局部最小，收敛速度过慢以及过拟合的缺点。作为浅层神经网络中的杰出代表，ELM网络正获得越来越多研究人员的关注。也有的学者研究ELM与深度神经网络的融合，这也是一个新的研究方向。
参考文献：
[1]Moody J， Darken CJ. Fast learning in networks of locally-tuned processing[J].Neural Computation， 1989， 1（2）： 281-294.
[2]郝曉丽，张靖.基于改进自适应聚类算法的RBF神经网络分类器设计与实现[J].计算机科学，2014， 41（6）： 260-263.
[3]Wang D， Zeng XJ， Keane JA. A clustering algorithm for radial basis function neural network initialization [J]. Neurocomputing， 2012， 77（1）： 144-155.
[4]Yingwei L， Sundararajan N， Saratchandran P. A sequential learning scheme for function approximation using minimal radial basis function [J]. Neural Computation， 1997， 9（2）： 461-478.
[5]韩红桂，乔俊飞，薄迎春.基于信息强度的RBF神经网络结构设计研究[J].自动化学报， 2012， 38（7）： 1083-1090.
[6]Huang GB， Zhu QY， Siew CK. Extreme learning machine： theory and applications [C]. IEEE International Joint Conference on Neural Networks， 2004， Budapest， HUNGARY， 1-4： 985-990.
关键词：反向传播网络;径向基函数网络;极限学习机网络;前馈神经网络
当前，用于分类的神经网络算法及模型已经广泛应用于科学、工业和医学等不同领域中。按照根据神经网络的拓扑结构划分，可以分为前馈型神经网络和反馈型神经网络。其中前馈型神经网络因其结构简单，方便实现，且计算量相对较少等优点，成为目前研究最为广泛的神经网络。本文主要以典型浅层神经网络中的反向传播（BP）网络、径向基函数（RBF）网络与极限学习机（ELM）网络来展开，以介绍几种网络模型的特性及研究现状。
1 典型浅层前馈神经网络研究现状
从理论上而言，含有单隐层的前馈神经网络能以任意精度逼近给定的连续函数。但是在实际中，由于不同的非线性问题的复杂性以及所使用的网络模型自身的特点，很多情况下往往很难达到所期望的逼近精度。以BP神经网络为例，BP网络隐节点使用的核函数为sigmoid核，采用统一的核参数，优点是泛化性能较好，但是核映射的稳定性较差。典型的BP算法采用基于误差反向传播的梯度下降方法来迭代更新网络权值，由此使得网络的输出误差平方和达到最小。整个学习过程的构成是通过给定的训练样本多次呈现给网络，以进行各层权值不断更新学习。BP神经网络的主要缺点在于收敛速度慢，且经常陷入局部最小的风险，并随着网络隐藏层层数的增加使得这一情况更加严重。尽管很多研究人员研究了对基于梯度下降BP算法的各种改进，但是从严格意义上讲，BP网络隐含层的层数及隐节点的个数选取缺乏理论依据。对于较为复杂的非线性问题，BP网络改进方法的效果往往有限。
RBF网络隐节点使用的核一般是径向基核函数。这种核具有良好的局部响应特性。其核参数的优化主要包括中心位置、核宽以及隐节点个数的确定。在中心位置的参数选取上，文献[1]使用K均值聚类得到的聚类中心作为RBF网络的隐节点中心。文献[2]提出将K均值聚类方法与网络轮廓系数优化方法相结合。文献[3]将输入样本和输出偏差相结合作为RBF网络隐节点中心选取的依据。此外，正交前向选择算法通过正交变换来选取RBF网络的隐节点中心，但不能保证全局最优。
在RBF网络中，隐层节点个数的多少直接决定了整个网络的拓扑结构及规模。一些动态构建RBF网络隐节点的方法被相继提出。文献[4]提出最小资源分配网络（MRAN）可以有效删除部分冗余节点。文献[5]通过度量隐节点的输出信息和隐节点之间的交互信息来确定隐节点的个数。
2004年，黄广斌[6]等人提出一种极限学习机网络模型（ELM）。该网络具有极快的学习速度和较好的泛化性能。在ELM网络中，隐节点的个数是固定的，为了达到较好的网络性能，一般需要设置较多的隐节点个数，因此存在一些非优化的隐节点，这就会造成网络结构的冗余。一些基于ELM网络的增加和裁剪技术被相继提出，用来自动估计ELM网络中隐节点的个数，并进一步优化ELM网络的输入输出权值参数。其他的改进算法尝试对基本的ELM算法进行扩展，使之能更有效地适合特定的问题。
2 总结与展望
本文介绍了BP网络、RBF网络以及ELM网络的特点及研究现状。相对而言，当前BP网络和RBF网络研究的比较成熟，其应用也最广泛。相比与BP网络，ELM具有更好的泛化性能，它能有效克服局部最小，收敛速度过慢以及过拟合的缺点。作为浅层神经网络中的杰出代表，ELM网络正获得越来越多研究人员的关注。也有的学者研究ELM与深度神经网络的融合，这也是一个新的研究方向。
参考文献：
[1]Moody J， Darken CJ. Fast learning in networks of locally-tuned processing[J].Neural Computation， 1989， 1（2）： 281-294.
[2]郝曉丽，张靖.基于改进自适应聚类算法的RBF神经网络分类器设计与实现[J].计算机科学，2014， 41（6）： 260-263.
[3]Wang D， Zeng XJ， Keane JA. A clustering algorithm for radial basis function neural network initialization [J]. Neurocomputing， 2012， 77（1）： 144-155.
[4]Yingwei L， Sundararajan N， Saratchandran P. A sequential learning scheme for function approximation using minimal radial basis function [J]. Neural Computation， 1997， 9（2）： 461-478.
[5]韩红桂，乔俊飞，薄迎春.基于信息强度的RBF神经网络结构设计研究[J].自动化学报， 2012， 38（7）： 1083-1090.
[6]Huang GB， Zhu QY， Siew CK. Extreme learning machine： theory and applications [C]. IEEE International Joint Conference on Neural Networks， 2004， Budapest， HUNGARY， 1-4： 985-990.