论文部分内容阅读
摘要：人工神经网络有很多模型，但是目前应用最广泛的、基本思想最直观、最容易理解的是前馈神经网络中的误差逆传播学习算法（Error Back Propagation）,简称为BP神经网络。它是前馈神经网络中的核心部分，也是最精华的部分。
关键词：神经元；神经网络；局限性
中图分类号：Q983+.6 文献标志码：A文章编号：1002—2589（2008）22—39—02
一 、人工神经网络的基本原理
人工神经网络或称作连接模型(Connectfonist-Model)，是对人脑或自然神经网络(NaturalNeuralNet-work)若干基本特性的抽象和模拟。人工神经网络以大脑的生理研究成果为基础，其目的在于模拟大脑的某些机理与机制，实现某个方面的功能。参照生物神经元网络发展起来的人工神经网络现已有许多种类型，但它们中的神经元结构是基本相同的。
（一）生物神经元的结构与功能
1.生物神经元的结构。生物神经元有一条轴突和若干树突，它通过轴突与其它细胞的树突相连接。树突是脑神经元的输入器，轴突则是信息传递的通道。生物神经元有兴奋和抑制两种状态，每一个神经元都是在与之相连的兴奋性突触和抑制性突触共同作用下活动的。它本身的兴奋和抑制作用又对其他神经元产生作用。当神经元接受到大量的兴奋性突触传来的信息时，信息被综合处理后神经元膜电位升高，超过一定阈值时，神经元被激活，细胞体产生输出信息。但神经元没有接收到信息或者接收到信息经综合后没能超过阈值，神经元则处于抑制状态。只有神经元所有输入的总效应达到阈值电平，它才能开始工作。无论什么时候达到阈值电平，神经元就产生一个全强度的输出脉冲，从细胞体经轴突进入轴突分枝。这时的神经元就称为被触发。学习发生在突触附近，而且突触把经过一个神经元轴突的脉冲转化为下一个神经元的兴奋或抑制。
2.生物神经元的功能。第一，空间整合功能。神经元对于同一时间通过不同突触传入的神经冲动具有空间整合功能，两种功能相互结合，具有时空整合的输入信息处理功能；第二，兴奋与抑制状态。神经元具有两种常规工作状态，首先是兴奋：当传入冲动的时空整合结果使得细胞膜电位升高，并超过被称为动作电位的阈值时，细胞进入兴奋状态，产生神经冲动，由轴突输出，用“1”表示；其次是抑制：当输入没有达到阈值时，细胞进入抑制状态，无神经冲动输出，用“0”表示；第三，学习、遗忘和疲劳。由于结构可塑性，突触的传递作用有增强，减弱和饱和，所以细胞具有相应的学习功能，遗忘或疲劳效应(饱和效应)。可见，神经元并不是简单的双稳态逻辑元件，而是超级的微型生物信息处理机和控制机。
（二）人工神经元的组成和分类
人工神经元的组成。人工神经元就是根据生物神经元结构而设计出来的。根据神经元的特性和功能，可以把神经元抽象为一个简单的数学模型。它有四个基本要素:a.一组连接，连接强度由各连接上的权值表示，权值为正表示激活，为负表示抑制。b.一个求和单元，可以求出各输入单元的加权和。c.一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一定范围内(通常限制在O和1之前或-1到+l之间)。d.阈值。e.是神经元的输入信号 ，称为连接权，是和的线性组合结果，是激励函数，y是神经元的输出。激励函数有以下几种类型:
（I）跃阶函数。跃阶函数是经典的M-P模型采用的激励函数类型。该模型对模式分类的问题特别有效，其函数表达式为：
（II）线性函数。线性函数类似于一个放大系数为1的放大器，跟踪输入信号的变化。线性激励函数与输入的激发总量成正比，可作为信息跟随装置,其函数表达式为：
（III）sigmoid函数Sigmoid函数表达式为：
其中a为可控制斜率参数，其值为大于0的数。Sigmoid激励函数或称S型函数是把输入信号锁定在0和1之间的值，在后面要讲到的BP网络，S型函数是主要激励函数。
二 、BP神经网络模型的建立
BP神经网络是人工神经网络的一个典型模型，全称是反向传播模型(Back-propagation)，是一种多层感知器结构，由若干层神经元组成，网络不仅有输入层节点，输出层节点，而且还可以有一层或多层隐含层节点。由于B-P算法过程包含从输出节点开始，反向地向第一隐含层(即最接近输入层的隐含层)传播由总误差引起的权值修正，所以称为“反向传播”。
其中：传递函数为S型函数：；误差函数： 这里为理想输出，为网络的计算输出。
BP网络对于输入的信号，要先向前传播到隐含层节点，经过作用函数后，再把隐含层节点的输出信息传播到输出层节点，最后输出结果。假定BP网络每层有n个处理单元，神经元的变换函数为S型的作用函数：
该作用函数使得输出量为 0-1 之间的连续量，因此可以实现从输入到输出的任意非线性映射。人工神经元将其接收到的信息（前一层的输出）O1,O2,…,On用W1,W2,…,Wn连接强度以点积的形式构成自己的输入I1再经 Sigmoid 函数转换，便得到这个单元的输出O1。训练集包括 m个样本模式对(XK,YK)。第 p个训练样本记为（p=1,2,…,M），单元 j 的输入总和（即激活函数）记为，输出记为，则
；
如果任意设置网络初始权值，那么对每个输入模式 p，网络输出于期望输出一般总有误差，定义网络误差为：
表示对第 p 个输入模式输出单元 j 的期望输出， δ 学习规则的实质是利用梯度最速下降法，使权值沿误差的负梯度方向改变，若权值的变化量记为，由于
；
令 则
在网络学习过程中，输出层于隐含层的误差计算是不相同的，当表示输出层单元的输出时，其误差为：
当表示隐含层输出时，其误差为：
其中k表示与单元j输出相连的上一层单元，即：
它反映了隐层单元有误差修正量是通过加权求和所有与单元 j 输出相连的上一层单元的误差修正量，根据作用函数的导数项按比率减小得到的。BP 算法可以通过以下具体过程实现： (1)建立网络模型，初始化网络及学习参数； (2)提供训练模式，选实例作学习训练样本;训练网络，直到满足学习要求；(3)前向传播过程，对给定训练模式输入，计算网络的输出模式，并与期望模式比较，若误差不能满足精度要求，则误差反向传播，否则转到（2）； (4)反向传播过程。
总之，BP 算法是一个很有效的算法，它把一组样本的输入、输出问题变成一个非线性优化问题，并使用了优化问题中最普遍的梯度下降法，用迭代运算求解权相应于学习记忆问题，加入隐含层节点是优化问题的可调参数增加，从而可以得到更精确的解。如果把这种神经网络看成是一个从输入到输出的映射，则这个映射是一个高度非线性的映射。
神经网络的学习过程是一个反复迭代的过程，由正向传播和反向传播组成。其算法的基本思想是根据网络输出层的误差，从输出层开始，反过来调整网络的权值和阈值，最后使得输出的均方误差最小。对一定的样本进行这样的“学习”后，网络所持的权值便是网络通过自适应学习得到的正确的内部表示。这是将待识别样本的特征数据输入训练好的网络，网络就可以对样本的属性进行自动推理、识别。
三、BP人工神经网络的局限性
BP网络只是一个非线性映射，BP算法的网络误差曲面有很多全局最小的解；存在平坦区，对于不同的映射范围各不相同；存在不少局部最小点，在某些初值的条件下，算法的结果会陷入局部最小；BP算法的收敛速度较慢，且网络隐层节点个数的选取尚缺少统一而完整的理论（即没有很好的解析式来表示）。
参考文献：
[1] 刘春平.神经网络的应用与发展[J].电子工艺技术，2005（26）.
[2] 魏海坤.神经网络结构设计的理论与方法[M].北京:国防工业出版社，2005.
[3]杨建刚.人工神经网络实用教程[M].杭州：浙江大学出版社，2001.
[4] 阎平凡.人工神经网络与模拟进化计算[M].北京：清华大学出版社，2005.
[5]韩力群.人工神经网络理论、设计及应用[M].北京：化学工业出版社，2002.
（责任编辑/石银）
注：本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文
关键词：神经元；神经网络；局限性
中图分类号：Q983+.6 文献标志码：A文章编号：1002—2589（2008）22—39—02
一 、人工神经网络的基本原理
人工神经网络或称作连接模型(Connectfonist-Model)，是对人脑或自然神经网络(NaturalNeuralNet-work)若干基本特性的抽象和模拟。人工神经网络以大脑的生理研究成果为基础，其目的在于模拟大脑的某些机理与机制，实现某个方面的功能。参照生物神经元网络发展起来的人工神经网络现已有许多种类型，但它们中的神经元结构是基本相同的。
（一）生物神经元的结构与功能
1.生物神经元的结构。生物神经元有一条轴突和若干树突，它通过轴突与其它细胞的树突相连接。树突是脑神经元的输入器，轴突则是信息传递的通道。生物神经元有兴奋和抑制两种状态，每一个神经元都是在与之相连的兴奋性突触和抑制性突触共同作用下活动的。它本身的兴奋和抑制作用又对其他神经元产生作用。当神经元接受到大量的兴奋性突触传来的信息时，信息被综合处理后神经元膜电位升高，超过一定阈值时，神经元被激活，细胞体产生输出信息。但神经元没有接收到信息或者接收到信息经综合后没能超过阈值，神经元则处于抑制状态。只有神经元所有输入的总效应达到阈值电平，它才能开始工作。无论什么时候达到阈值电平，神经元就产生一个全强度的输出脉冲，从细胞体经轴突进入轴突分枝。这时的神经元就称为被触发。学习发生在突触附近，而且突触把经过一个神经元轴突的脉冲转化为下一个神经元的兴奋或抑制。
2.生物神经元的功能。第一，空间整合功能。神经元对于同一时间通过不同突触传入的神经冲动具有空间整合功能，两种功能相互结合，具有时空整合的输入信息处理功能；第二，兴奋与抑制状态。神经元具有两种常规工作状态，首先是兴奋：当传入冲动的时空整合结果使得细胞膜电位升高，并超过被称为动作电位的阈值时，细胞进入兴奋状态，产生神经冲动，由轴突输出，用“1”表示；其次是抑制：当输入没有达到阈值时，细胞进入抑制状态，无神经冲动输出，用“0”表示；第三，学习、遗忘和疲劳。由于结构可塑性，突触的传递作用有增强，减弱和饱和，所以细胞具有相应的学习功能，遗忘或疲劳效应(饱和效应)。可见，神经元并不是简单的双稳态逻辑元件，而是超级的微型生物信息处理机和控制机。
（二）人工神经元的组成和分类
人工神经元的组成。人工神经元就是根据生物神经元结构而设计出来的。根据神经元的特性和功能，可以把神经元抽象为一个简单的数学模型。它有四个基本要素:a.一组连接，连接强度由各连接上的权值表示，权值为正表示激活，为负表示抑制。b.一个求和单元，可以求出各输入单元的加权和。c.一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一定范围内(通常限制在O和1之前或-1到+l之间)。d.阈值。e.是神经元的输入信号 ，称为连接权，是和的线性组合结果，是激励函数，y是神经元的输出。激励函数有以下几种类型:
（I）跃阶函数。跃阶函数是经典的M-P模型采用的激励函数类型。该模型对模式分类的问题特别有效，其函数表达式为：
（II）线性函数。线性函数类似于一个放大系数为1的放大器，跟踪输入信号的变化。线性激励函数与输入的激发总量成正比，可作为信息跟随装置,其函数表达式为：
（III）sigmoid函数Sigmoid函数表达式为：
其中a为可控制斜率参数，其值为大于0的数。Sigmoid激励函数或称S型函数是把输入信号锁定在0和1之间的值，在后面要讲到的BP网络，S型函数是主要激励函数。
二 、BP神经网络模型的建立
BP神经网络是人工神经网络的一个典型模型，全称是反向传播模型(Back-propagation)，是一种多层感知器结构，由若干层神经元组成，网络不仅有输入层节点，输出层节点，而且还可以有一层或多层隐含层节点。由于B-P算法过程包含从输出节点开始，反向地向第一隐含层(即最接近输入层的隐含层)传播由总误差引起的权值修正，所以称为“反向传播”。
其中：传递函数为S型函数：；误差函数： 这里为理想输出，为网络的计算输出。
BP网络对于输入的信号，要先向前传播到隐含层节点，经过作用函数后，再把隐含层节点的输出信息传播到输出层节点，最后输出结果。假定BP网络每层有n个处理单元，神经元的变换函数为S型的作用函数：
该作用函数使得输出量为 0-1 之间的连续量，因此可以实现从输入到输出的任意非线性映射。人工神经元将其接收到的信息（前一层的输出）O1,O2,…,On用W1,W2,…,Wn连接强度以点积的形式构成自己的输入I1再经 Sigmoid 函数转换，便得到这个单元的输出O1。训练集包括 m个样本模式对(XK,YK)。第 p个训练样本记为（p=1,2,…,M），单元 j 的输入总和（即激活函数）记为，输出记为，则
；
如果任意设置网络初始权值，那么对每个输入模式 p，网络输出于期望输出一般总有误差，定义网络误差为：
表示对第 p 个输入模式输出单元 j 的期望输出， δ 学习规则的实质是利用梯度最速下降法，使权值沿误差的负梯度方向改变，若权值的变化量记为，由于
；
令 则
在网络学习过程中，输出层于隐含层的误差计算是不相同的，当表示输出层单元的输出时，其误差为：
当表示隐含层输出时，其误差为：
其中k表示与单元j输出相连的上一层单元，即：
它反映了隐层单元有误差修正量是通过加权求和所有与单元 j 输出相连的上一层单元的误差修正量，根据作用函数的导数项按比率减小得到的。BP 算法可以通过以下具体过程实现： (1)建立网络模型，初始化网络及学习参数； (2)提供训练模式，选实例作学习训练样本;训练网络，直到满足学习要求；(3)前向传播过程，对给定训练模式输入，计算网络的输出模式，并与期望模式比较，若误差不能满足精度要求，则误差反向传播，否则转到（2）； (4)反向传播过程。
总之，BP 算法是一个很有效的算法，它把一组样本的输入、输出问题变成一个非线性优化问题，并使用了优化问题中最普遍的梯度下降法，用迭代运算求解权相应于学习记忆问题，加入隐含层节点是优化问题的可调参数增加，从而可以得到更精确的解。如果把这种神经网络看成是一个从输入到输出的映射，则这个映射是一个高度非线性的映射。
神经网络的学习过程是一个反复迭代的过程，由正向传播和反向传播组成。其算法的基本思想是根据网络输出层的误差，从输出层开始，反过来调整网络的权值和阈值，最后使得输出的均方误差最小。对一定的样本进行这样的“学习”后，网络所持的权值便是网络通过自适应学习得到的正确的内部表示。这是将待识别样本的特征数据输入训练好的网络，网络就可以对样本的属性进行自动推理、识别。
三、BP人工神经网络的局限性
BP网络只是一个非线性映射，BP算法的网络误差曲面有很多全局最小的解；存在平坦区，对于不同的映射范围各不相同；存在不少局部最小点，在某些初值的条件下，算法的结果会陷入局部最小；BP算法的收敛速度较慢，且网络隐层节点个数的选取尚缺少统一而完整的理论（即没有很好的解析式来表示）。
参考文献：
[1] 刘春平.神经网络的应用与发展[J].电子工艺技术，2005（26）.
[2] 魏海坤.神经网络结构设计的理论与方法[M].北京:国防工业出版社，2005.
[3]杨建刚.人工神经网络实用教程[M].杭州：浙江大学出版社，2001.
[4] 阎平凡.人工神经网络与模拟进化计算[M].北京：清华大学出版社，2005.
[5]韩力群.人工神经网络理论、设计及应用[M].北京：化学工业出版社，2002.
（责任编辑/石银）
注：本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文