论文部分内容阅读
摘要: 简要介绍径向基函数(RBF)神经网路的原理和结构。通过MATLAB语言仿真,进一步研究在设计RBF网络时,散布常数的选择对网络的影响。实验结果表明,在设计RBF网络时,必须选取适当的散布常数,否则会对结果造成较大误差。
关键词: 神经网络;径向基函数;散布常数
中图分类号:TP183 文献标识码:A 文章编号:1671-7597(2011)0920100-01
0 引言
近年来,基于梯度下降法的BP网络在神经网络领域受到了广泛的应用,然而BP网络存在着明显缺陷,即收敛到局部极小值和收敛速度慢。在20世纪80年代,J.Moody和C.Darken等人提出了一种不同于BP结构的神经网络结构——径向基函数(Radial Basis Function,RBF)神经网络[1]。RBF网络借鉴了生物局部调节技术和交叠接受区域的相关知识,在此基础上研究出的一种通过局部接受域来执行函数映射的神经网络。RBF网络是一种局部逼近网络,它很好的消除了BP网络的不足,具有学习速度快,收敛性强等优点,在函数逼近和模式分类方面的能力非常突出。
1 RBF神经网络
RBF神经网络是一种三层前馈式神经网络。最基本的径向基函数神经网络包含三层:输入层、隐层和输出层,其网络结构如图1所示。[2]
图1RBF网络结构图
输入层节点将输入信号x传递至隐层节点,隐层节点将对输入信号产生局部响应,并将响应信号r传递至输出节点,最终产生输出信号y。其中,隐层节点的输出函数由径向基函数描述,其中心向量为输入节点到隐层节点的连接权值。输出层节点通常由简单的线性函数组成。在RBF网络中,输入节点到隐层节点的变换是非线性的,而从隐层节点到输出节点的变换则是线性的。径向基函数网络(RBFNN)的基函数可以是高斯函数、多二次函数、逆多次函数等,其中高斯函数最为常用。本文选用高斯函数
个隐层节点输出;x为n维输入向量;为第i个隐层节点的中心向量;
基宽度;m为隐层节点个数; 通常表示为欧式范数。RBF网络的输出层是一组线性组合器,网络输出层第t个节点的输出为隐层节点输出的线性的连接权值。需要注意的是,隐层的每个节点都有一个径向基函数的中心向量,此向量与输入向量x具有相同的维数。
由于径向基函数对输入信号产生一个局部化的响应,当输入信号靠近隐层基函数的中央范围时,隐层节点将产生有意义的非零输出。RBF网络在输入向量的某一个局部空间内应用少量的神经元就能够得到网络的输出,也就是说它只需对网络中少量的权值和阀值进行修正,这种方式使得学习速度明显提高,其收敛速度比常规BP神经网络快103-104倍[3]。
2 基于RBF神经网络的函数逼近实验
通过MATLAB语言进行RBF 神经网络的函数逼近实验,首先应用神经网络工具箱中的newrb()函数创建一个径向基函数网络 [4],在实现函数逼近的实验中,散布常数的选取非常重要。已知输入向量P和输出向量T,通过构建径向基函数神经网络来进行曲线拟合,绘制训练样本参数如下:P=[-1:0.1:1];T=[0.86800.67800.2620 -0.1990 -0.3400 -0.4600 -0.3600 -0.13300.1010 0.38800.56000.40300.2540 -0.2120 -0.4070 -0.6680 -0.8000 -0.4010 -0.24100.22300.4600]。在进行函数逼近时,误差精度(eg)预设为0.001。当实验选取的散布常数较为适合时(sc=1),函数逼近的结果较为准确,如图2所示。
图2散布常数为1时的函数逼近结果
当选取的散布常数过大时(sc=1000),RBF网络在函数逼近时所需的神经元数目会减少,造成函数逼近的不适性,如图3所示。当实验选取的散布常数过小时(sc=0.001),RBF网络所需神经元数目将增加,造成函数逼近的过适性[5],如图4所示。
图3散布常数为1000时的函数逼近结果
图4散布常数为0.001时的函数逼近结果
3 结束语
RBF网络在函数逼近能力、分类能力和学习速度等方面均优于BP网络。本文使用RBF神经网络进行了非线性函数的逼近,并探讨散布常数对逼近效果的影响。实验结果表明,只有选取合适的散布常数,函数逼近才有意义。
参考文献:
[1]Moody J,Darken C. Fast learning in networks of locally-tunedprocessing units[J].Neural Computation,1989,1(2):281-294.
[2]田景文、高美娟,人工神经网络算法研究及应用[M].北京:北京理工大学出版社,2006:41-50.
[3]王炜、吴耿锋、张博锋、王媛,径向基函数(RBF)神经网络及其应用[J].地震,2005,25(2):20-25.
[4]董长虹,Matlab神经网络与应用[M].北京:国防工业出版社,2005:70-128.
[5]刘君尧、邱岚,基于径向基函数神经网络的函数逼近[J].大众科技,2009(9):19-21.
关键词: 神经网络;径向基函数;散布常数
中图分类号:TP183 文献标识码:A 文章编号:1671-7597(2011)0920100-01
0 引言
近年来,基于梯度下降法的BP网络在神经网络领域受到了广泛的应用,然而BP网络存在着明显缺陷,即收敛到局部极小值和收敛速度慢。在20世纪80年代,J.Moody和C.Darken等人提出了一种不同于BP结构的神经网络结构——径向基函数(Radial Basis Function,RBF)神经网络[1]。RBF网络借鉴了生物局部调节技术和交叠接受区域的相关知识,在此基础上研究出的一种通过局部接受域来执行函数映射的神经网络。RBF网络是一种局部逼近网络,它很好的消除了BP网络的不足,具有学习速度快,收敛性强等优点,在函数逼近和模式分类方面的能力非常突出。
1 RBF神经网络
RBF神经网络是一种三层前馈式神经网络。最基本的径向基函数神经网络包含三层:输入层、隐层和输出层,其网络结构如图1所示。[2]
图1RBF网络结构图
输入层节点将输入信号x传递至隐层节点,隐层节点将对输入信号产生局部响应,并将响应信号r传递至输出节点,最终产生输出信号y。其中,隐层节点的输出函数由径向基函数描述,其中心向量为输入节点到隐层节点的连接权值。输出层节点通常由简单的线性函数组成。在RBF网络中,输入节点到隐层节点的变换是非线性的,而从隐层节点到输出节点的变换则是线性的。径向基函数网络(RBFNN)的基函数可以是高斯函数、多二次函数、逆多次函数等,其中高斯函数最为常用。本文选用高斯函数
个隐层节点输出;x为n维输入向量;为第i个隐层节点的中心向量;
基宽度;m为隐层节点个数; 通常表示为欧式范数。RBF网络的输出层是一组线性组合器,网络输出层第t个节点的输出为隐层节点输出的线性的连接权值。需要注意的是,隐层的每个节点都有一个径向基函数的中心向量,此向量与输入向量x具有相同的维数。
由于径向基函数对输入信号产生一个局部化的响应,当输入信号靠近隐层基函数的中央范围时,隐层节点将产生有意义的非零输出。RBF网络在输入向量的某一个局部空间内应用少量的神经元就能够得到网络的输出,也就是说它只需对网络中少量的权值和阀值进行修正,这种方式使得学习速度明显提高,其收敛速度比常规BP神经网络快103-104倍[3]。
2 基于RBF神经网络的函数逼近实验
通过MATLAB语言进行RBF 神经网络的函数逼近实验,首先应用神经网络工具箱中的newrb()函数创建一个径向基函数网络 [4],在实现函数逼近的实验中,散布常数的选取非常重要。已知输入向量P和输出向量T,通过构建径向基函数神经网络来进行曲线拟合,绘制训练样本参数如下:P=[-1:0.1:1];T=[0.86800.67800.2620 -0.1990 -0.3400 -0.4600 -0.3600 -0.13300.1010 0.38800.56000.40300.2540 -0.2120 -0.4070 -0.6680 -0.8000 -0.4010 -0.24100.22300.4600]。在进行函数逼近时,误差精度(eg)预设为0.001。当实验选取的散布常数较为适合时(sc=1),函数逼近的结果较为准确,如图2所示。
图2散布常数为1时的函数逼近结果
当选取的散布常数过大时(sc=1000),RBF网络在函数逼近时所需的神经元数目会减少,造成函数逼近的不适性,如图3所示。当实验选取的散布常数过小时(sc=0.001),RBF网络所需神经元数目将增加,造成函数逼近的过适性[5],如图4所示。
图3散布常数为1000时的函数逼近结果
图4散布常数为0.001时的函数逼近结果
3 结束语
RBF网络在函数逼近能力、分类能力和学习速度等方面均优于BP网络。本文使用RBF神经网络进行了非线性函数的逼近,并探讨散布常数对逼近效果的影响。实验结果表明,只有选取合适的散布常数,函数逼近才有意义。
参考文献:
[1]Moody J,Darken C. Fast learning in networks of locally-tunedprocessing units[J].Neural Computation,1989,1(2):281-294.
[2]田景文、高美娟,人工神经网络算法研究及应用[M].北京:北京理工大学出版社,2006:41-50.
[3]王炜、吴耿锋、张博锋、王媛,径向基函数(RBF)神经网络及其应用[J].地震,2005,25(2):20-25.
[4]董长虹,Matlab神经网络与应用[M].北京:国防工业出版社,2005:70-128.
[5]刘君尧、邱岚,基于径向基函数神经网络的函数逼近[J].大众科技,2009(9):19-21.