论文部分内容阅读
摘 要：针对基于BP神经网络的系统辨识存在的网络初始权值的选择对辨识结果影响较大且不容易确定的缺点，在BP神经网络的基础上将线性网络和局部式反传网络相结合给出一种混合式改进BP神经网络结构，即在BP神经网络之前引入一个线性网络，然后通过对网络灵敏度的分析，将该网络变成局部式反传网络，在误差反传信号线上控制各层权值的修正。仿真结果表明这种混合式BP神经网络在一定程度上提高了网络辨识的误差精度和收敛速率。
关键词：系统辨识 BP算法 线性网络 局部式反传网络 灵敏度
中图分类号：O241 文献标识码：A 文章编号：1007-3973（2012）012-089-03
1 引言
BP（Back-Propagation）神经网络是一种反向传播学习的非线性网络，以其具有自学习和自适应能力、泛化能力和优良的非线性映射能力，受到众多领域学者的关注。为了提高BP算法收敛速度，大量学者开展了有效的研究。文献[1]采用变步长的方法提高学习速率，而文献[2]通过加入动量项提高收敛速度。文献[3]提出的自适应调节学习率和动态调整S型激励函数相结合的改进BP算法也是一种有效地提高训练速度的方法之一。
考虑到BP神经网络结构的初始值不确定和不能灵活调整各层权值的缺点，本文在BP神经网络的基础上将线性网络和局部式反传网络结合给出一种混合式改进BP神经网络结构。
2 改进BP神经网络结构
2.1神经网络灵敏度定义
神经网络灵敏度是指神经网络系统辨识的过程中对各种信号的变化和扰动的调整能力。对第i 个样本，神经网络辨识器的灵敏度定义为：
其中：MSE为方差，|△E|为网络输入、权值变化及被辨识系统变化引起的综合误差。△yim是由信号的各种变化及扰动引起的网络输出变化。
2.2混合式BP神经网络分析
神经网络辨识的优劣很大程度上取决于网络初始值是否正好在理想值附近，由于标准的BP算法和前人的改进算法都是随机初始化BP神经网络的权值，这就使得神经网络建模初值不确定性增加，学习和训练的实时性下降。由于线性网络的训练不需要求激励函数的导数，全是线性运算，因此训练速度很快，又加上其能在理想值附近建模，使得BP神经网络的训练负担大大减轻，从而缩短了整个辨识网络的辨识时间。
传统BP神经网络是一种全反传式的前向网络，只要有误差反传信号，整个网络所有层的权值都会修改，会造成学习时间延长，并且当误差较小时，容易出现权值修改过量，影响精度。在关于神经网络灵敏度的研究中得知，神经网络隐含层与输出层的权值矩阵 的元素值的大小对网络输出影响大于输入层与隐含层之间的权值矩阵 以及各隐含层之间权值矩阵 。当网络结构变化或系统参数变化时，通过动态地控制BP神经网络各层特别是输出层权值修正，可以使网络输出的均方差MSE（△yim）快速减小，从而使网络灵敏度 降低，达到提高辨识速率和精度的效果。
本文尝试先在BP神经网络之前加入一级线性网络，通过线性网络首先进行辨识的粗调，当在理想值附近建立粗略的线性模型后，再通过局部式反传BP神经网络学习，辨识之前线性网络无法建模的非线性部分。混合式改进BP神经网络结构如图1所示。
2.3混合式BP神经网络工作过程
首先对于图1中的线性网络部分，令网络输出为：
式（2）中：line（k）是线性网络的权值，b（k）是网络的阀值，x（k）为辨识网络的输入信号。
对于线性网络部分，神经元之间参数修改采用递推最小二乘法；其权值和阀值修改公式分别见式（3）和式（4）
对于图1中局部式反传BP神经网络部分，令网络输出为yn（k）。神经元之间权值修改采用引入动量项和变步长法的改进BP算法。该网络权值调整过程主要由综合误差决定，为方便取误差绝对值，本文采用误差的平方作为调整参考值。调节过程如下：
（1）当 时，由灵敏度定义的式（1）可知，灵敏度函数是综合误差|△E|的反比例函数，此时灵敏度较小，故可按标准BP算法执行。
（2）当 时，协调器控制网络输出层的权值矩阵，调整wbij的大小，同时停止其他层权值的修正，使网络灵敏度 降低。
（3）当 时，协调器控制只允许靠近网络输入层的第一或二级隐含层权值修正，同时停止网络输出层的权值阵 和其他级隐层权值的修正。
然后将两个网络结合，令辨识网络总输出为：
训练采用的教师信号为网络实际输出与辨识输出的误差的均方值。
3 辨识结果研究
针对一个典型的非线性对象，通过仿真来研究结合线性网络的局部反传BP神经网络对非线性对象的建模能力，并与单独使用BP网络的建模效果进行比较，来说明所提方法对提高网络学习速率及精度的效果。
为了保证学习信号的多样性，网络辨识学习选用的输入信号样本前半部分为随机信号，后半部分为正弦信号。为了考察本文给出的混合型改进BP神经网络结构对被辨识对象参数改变和模型结构改变的适应能力，本文选取的辨识对象为如公式（6）所示的三个不同的三阶非线性对象，在K=250时刻对象模型中的常数2.5变为零，在K=500时刻对象模型的分子和分母均作了改变：
（6）
仿真采用的神经元结构采用图1的三层结构，在BP神经网络辨识之前先通过一层线性网络，采用基于BP算法的多层前向网络的结构 （表示一个三层网络，输入层，隐含层各有5个神经元，输出层有1个神经元）。激励函数采用Sigmoid函数 ，取初始学习率 ，动量项 =0.3。
结合线性网络的局部反传BP神经网络的辨识结果如图2，本文改进算法与标准BP算法和引入局部反馈算法的教师信号比较如图3所示，由于改进算法与标准算法的教师信号不在同一数量级上，将改进算法的教师信号另外画出，如图4所示。
（1）由图2可以看出改进网络结构后的辨识结果和实际输出吻合度很高。
（2）由图3可以看出，在相同的学习步数情况下，引入局部反馈改进算法相比于标准算法，学习时间短，且基本不受输入变化的影响，本文改进后网络结构对比引入局部反馈改进算法的辨识精度高，收敛速度快，而且能保持稳定。
（3）由图4可以看出，改进后的算法辨识效果明显，主要体现在初始误差就很小。在相同训练步数下，改进算法的均方误差在训练开始时就几乎维持在10-3附近，当训练结束时更是达到了10-4以上的精度。
4 结论
本文通过分析传统BP网络的缺点及其成因，在其基础上将线性网络和局部式反传网络结合成一种混合式BP神经网络。
（1）线性网络的引进增加了粗调环节，在继续保持BP神经网络非线性表达能力强的优点的前提下，得到了更快的收敛速度和更小的误差。
（2）引入局部反传网络，当网络结构变化或系统参数变化时，通过动态地控制网络各层权值修正，降低网络灵敏度，提高辨识精度，是一种训练BP网络的有效方法。
参考文献：
[1] 杨源杰，黄道.人工神经网络算法研究及应用[J].华东理工大学学报，2002，6（4）：319-323.
[2] 郑高峰.带动量项的BP神经网络收敛性分析[D].大连：大连理工大学，2005.
[3] 孙娓娓，刘琼荪.BP神经网络的联合优化算法[J].计算机工程与应用，2009，45（12）：50-54.
[4] 周荣，王福利.一种改进的神经元网络及学习算法[J].矿冶，1997，6（2）：85-88.
[5] 霍爱清，汪跃龙，汤楠，等.局部式反传网络的改进BP算法及应用[J].计算机工程与应用，2012，48（4）：211-214.
[6] 齐建玲，赵秀芬，崔瑞雪，等.一种改进的BP网络系统辨识算法的研究[J].华北航天工业学院学报，2006，16（2）：1-3.
关键词：系统辨识 BP算法 线性网络 局部式反传网络 灵敏度
中图分类号：O241 文献标识码：A 文章编号：1007-3973（2012）012-089-03
1 引言
BP（Back-Propagation）神经网络是一种反向传播学习的非线性网络，以其具有自学习和自适应能力、泛化能力和优良的非线性映射能力，受到众多领域学者的关注。为了提高BP算法收敛速度，大量学者开展了有效的研究。文献[1]采用变步长的方法提高学习速率，而文献[2]通过加入动量项提高收敛速度。文献[3]提出的自适应调节学习率和动态调整S型激励函数相结合的改进BP算法也是一种有效地提高训练速度的方法之一。
考虑到BP神经网络结构的初始值不确定和不能灵活调整各层权值的缺点，本文在BP神经网络的基础上将线性网络和局部式反传网络结合给出一种混合式改进BP神经网络结构。
2 改进BP神经网络结构
2.1神经网络灵敏度定义
神经网络灵敏度是指神经网络系统辨识的过程中对各种信号的变化和扰动的调整能力。对第i 个样本，神经网络辨识器的灵敏度定义为：
其中：MSE为方差，|△E|为网络输入、权值变化及被辨识系统变化引起的综合误差。△yim是由信号的各种变化及扰动引起的网络输出变化。
2.2混合式BP神经网络分析
神经网络辨识的优劣很大程度上取决于网络初始值是否正好在理想值附近，由于标准的BP算法和前人的改进算法都是随机初始化BP神经网络的权值，这就使得神经网络建模初值不确定性增加，学习和训练的实时性下降。由于线性网络的训练不需要求激励函数的导数，全是线性运算，因此训练速度很快，又加上其能在理想值附近建模，使得BP神经网络的训练负担大大减轻，从而缩短了整个辨识网络的辨识时间。
传统BP神经网络是一种全反传式的前向网络，只要有误差反传信号，整个网络所有层的权值都会修改，会造成学习时间延长，并且当误差较小时，容易出现权值修改过量，影响精度。在关于神经网络灵敏度的研究中得知，神经网络隐含层与输出层的权值矩阵 的元素值的大小对网络输出影响大于输入层与隐含层之间的权值矩阵 以及各隐含层之间权值矩阵 。当网络结构变化或系统参数变化时，通过动态地控制BP神经网络各层特别是输出层权值修正，可以使网络输出的均方差MSE（△yim）快速减小，从而使网络灵敏度 降低，达到提高辨识速率和精度的效果。
本文尝试先在BP神经网络之前加入一级线性网络，通过线性网络首先进行辨识的粗调，当在理想值附近建立粗略的线性模型后，再通过局部式反传BP神经网络学习，辨识之前线性网络无法建模的非线性部分。混合式改进BP神经网络结构如图1所示。
2.3混合式BP神经网络工作过程
首先对于图1中的线性网络部分，令网络输出为：
式（2）中：line（k）是线性网络的权值，b（k）是网络的阀值，x（k）为辨识网络的输入信号。
对于线性网络部分，神经元之间参数修改采用递推最小二乘法；其权值和阀值修改公式分别见式（3）和式（4）
对于图1中局部式反传BP神经网络部分，令网络输出为yn（k）。神经元之间权值修改采用引入动量项和变步长法的改进BP算法。该网络权值调整过程主要由综合误差决定，为方便取误差绝对值，本文采用误差的平方作为调整参考值。调节过程如下：
（1）当 时，由灵敏度定义的式（1）可知，灵敏度函数是综合误差|△E|的反比例函数，此时灵敏度较小，故可按标准BP算法执行。
（2）当 时，协调器控制网络输出层的权值矩阵，调整wbij的大小，同时停止其他层权值的修正，使网络灵敏度 降低。
（3）当 时，协调器控制只允许靠近网络输入层的第一或二级隐含层权值修正，同时停止网络输出层的权值阵 和其他级隐层权值的修正。
然后将两个网络结合，令辨识网络总输出为：
训练采用的教师信号为网络实际输出与辨识输出的误差的均方值。
3 辨识结果研究
针对一个典型的非线性对象，通过仿真来研究结合线性网络的局部反传BP神经网络对非线性对象的建模能力，并与单独使用BP网络的建模效果进行比较，来说明所提方法对提高网络学习速率及精度的效果。
为了保证学习信号的多样性，网络辨识学习选用的输入信号样本前半部分为随机信号，后半部分为正弦信号。为了考察本文给出的混合型改进BP神经网络结构对被辨识对象参数改变和模型结构改变的适应能力，本文选取的辨识对象为如公式（6）所示的三个不同的三阶非线性对象，在K=250时刻对象模型中的常数2.5变为零，在K=500时刻对象模型的分子和分母均作了改变：
（6）
仿真采用的神经元结构采用图1的三层结构，在BP神经网络辨识之前先通过一层线性网络，采用基于BP算法的多层前向网络的结构 （表示一个三层网络，输入层，隐含层各有5个神经元，输出层有1个神经元）。激励函数采用Sigmoid函数 ，取初始学习率 ，动量项 =0.3。
结合线性网络的局部反传BP神经网络的辨识结果如图2，本文改进算法与标准BP算法和引入局部反馈算法的教师信号比较如图3所示，由于改进算法与标准算法的教师信号不在同一数量级上，将改进算法的教师信号另外画出，如图4所示。
（1）由图2可以看出改进网络结构后的辨识结果和实际输出吻合度很高。
（2）由图3可以看出，在相同的学习步数情况下，引入局部反馈改进算法相比于标准算法，学习时间短，且基本不受输入变化的影响，本文改进后网络结构对比引入局部反馈改进算法的辨识精度高，收敛速度快，而且能保持稳定。
（3）由图4可以看出，改进后的算法辨识效果明显，主要体现在初始误差就很小。在相同训练步数下，改进算法的均方误差在训练开始时就几乎维持在10-3附近，当训练结束时更是达到了10-4以上的精度。
4 结论
本文通过分析传统BP网络的缺点及其成因，在其基础上将线性网络和局部式反传网络结合成一种混合式BP神经网络。
（1）线性网络的引进增加了粗调环节，在继续保持BP神经网络非线性表达能力强的优点的前提下，得到了更快的收敛速度和更小的误差。
（2）引入局部反传网络，当网络结构变化或系统参数变化时，通过动态地控制网络各层权值修正，降低网络灵敏度，提高辨识精度，是一种训练BP网络的有效方法。
参考文献：
[1] 杨源杰，黄道.人工神经网络算法研究及应用[J].华东理工大学学报，2002，6（4）：319-323.
[2] 郑高峰.带动量项的BP神经网络收敛性分析[D].大连：大连理工大学，2005.
[3] 孙娓娓，刘琼荪.BP神经网络的联合优化算法[J].计算机工程与应用，2009，45（12）：50-54.
[4] 周荣，王福利.一种改进的神经元网络及学习算法[J].矿冶，1997，6（2）：85-88.
[5] 霍爱清，汪跃龙，汤楠，等.局部式反传网络的改进BP算法及应用[J].计算机工程与应用，2012，48（4）：211-214.
[6] 齐建玲，赵秀芬，崔瑞雪，等.一种改进的BP网络系统辨识算法的研究[J].华北航天工业学院学报，2006，16（2）：1-3.