论文部分内容阅读
摘要:随着控制理论的不断发展,传统控制理论已不能满足生产生活所需,智能控制理论的出现解决了这一难题。本文将以人工神经元为例进行分析,进而加深对于智能控制理论的理解与掌握。
关键词:人工神经元;神经网络;智能控制
前言:
人工神经元模型是人工神经网络的系统模型,主要是模拟人脑神经细胞的工作特点而建立。学习并掌握人工神经元的组成机制以及学习特点有助于发展智能控制理论,尤其在机器学习领域将有巨大的促进作用。
1 神經元模型
1.1模型建立
神经元模型的建立经历近半个多世纪,尤其在最近十多年间人工神经元网络研究取得很大进展。人工神经元网络并不是简单的数学模型,而是一个巨大的复杂的非线性动力学系统。为了方便研究,将其拆分为一个个神经元模型进行研究,然后将一个个单元进行组合分析其综合作用。类似于人脑的神经元结构,人工建立的神经元模型是一个具有非线性且具有多个输入单个输出的器件。不同的神经元网络结构具有不同的功能,但均具有学习的功能。从数学角度分析人工神经元不难得出其输入与输出间的数值关系,依据这些数值关系可以建立不同的数学模型,例如Tan函数型、Sigmoid函数型等等,这些数学函数模型的建立有利于分析人工神经元的工作特点,进而得出神经网络的学习特点。
1.2模型分类
由于神经网络的复杂性以及算法的多样性,神经网络模型也各式各样,如CMAC小脑模型、Blotzman机网络等。通过神经元的互相连接协调构成了庞大而复杂的神经元网络。目前的神经网络大致可以分为前向型网络(各级神经元之间不存在反馈关系)、反馈型网络(网络的输入层和输出层之间的神经元之间具有反馈联系,其它层不存在)、混合型网络(同一层的神经元可以产生横向抑制或者兴奋效应)、互相结合型网络(此种模型的任何神经元之间均可能存在联系)。
1.3神经元特征
通过对于人体神经元的研究,人体神经元具有很多生物特征,建立的人工神经元模型正是基于生物神经元的特征而建立起来的。最明显的特征有记忆以及记忆信息的储藏功能,由此部分神经元的损伤并不会丢失全部信息。人体神经元犹如多台并行工作的计算机一样处理着各种复杂多变的信息,这需要各个神经元的协调且高度的配合。此外,执行智能行为时需要很多部分的神经元配合,即分散性控制。谈到机器学习,最重要的功能是自学习的功能,即不需要过多干预机器能够自主学习并适应环境,通过联想及以往经验从而做出正确的决策,并且做出的决定是具有一定的容错性质的。
2 学习算法
2.1分类
人工神经元正如人体学习过程一样,分为有指导和无指导两大类型。在进行人体神经元的研究中,结合建立的人工神经元模型,引入期望这一概念。如果人工神经元学习的结果能够按照期望发展,并且当结果与期望值有一定的误差时,神经网络能够及时调整学习的方式(即调整相互之间的权值),这样的学习方式称为有导师的学习。相反,没有给予神经网络学习目标,但是建立一个能够间接评估学习效果的体系,这种学习模式称为无导师学习。如果按照神经元之间联系权重的更改方式又可以分为纠错学习、相关学习、无导师学习等。
2.2泛化能力
人脑能够适应万千世界中的各种事物离不开人脑具有泛化能力这一重要特征。例如,当输入量中夹杂着部分噪声时,人脑依旧能够从中获取到其所需的有用信息而不受噪声所影响,人工神经元网络也应达到当输入存在差异时其输出能够同样准确而全面的效果。在有导师学习的模式下,选取具有一定概率特征的样本的部分作为人工神经元的训练模板,经过学习,人工神经元的输出与期望值之间会存在一定的偏差。同时,从样本中再选一部分来验证人工神经元的学习效果,验证过后会和期望值间产生一个新的误差,此时的误差与训练的误差间的差值可以作为评价人工神经元的泛化能力。这种能力和人工神经网络的输入、网络节点及训练样本等密切相关。
在进行神经网络训练时会涉及到一种数学方法,即梯度法,这只是一种求解无约束最优化问题的解决方法,主要利用函数的解析性质使之不断收敛从而求得最优解。人工神经元在建立模型的时候会建立数学函数,在训练过程中往往需要用到这种方法。首先需要确定搜索方向与搜索的步长,在给定初始点的情况下通过计算搜索方向一步步进行迭代最终求解。
3 前向神经网络
前向神经网络在人工神经网络中应用广泛,每一层神经元的输出作为下一层神经元的输入,通常分析按照单一、单层、多层的不同层次进行,单一神经元是研究其他层次的理论基础。单一神经元的输出受到多种因素的影响,加之自身存在阈值,故通常建立数学函数来描述单一神经元的工作特点。引入激励函数作为数学模型的表达方式,单一神经元的输出可以看做是多个外界输入和自身阈值的综合的激励函数表达式。这样单层神经元的数学表达式便是单层神经元的综合效果,即累加模式。由于多层神经元的各层输入与上一层的神经元输出密切相关,故需要一层层计算当层神经元的输出进行递进求得最终输出层神经元的输出。在实际的研究过程中,为了解决问题的方便,通常可以假设每一层神经元的激励函数的表达式均是相同的,即共用一个激励函数,这样最终神经元的输出表达式便得到统一。
在进行前向神经网络的研究中,BP学习算法得到了广泛应用。前向神经网络通常利用网络的实际输出与期望输出进行对比从而调整网络权阵进行训练。BP学习算法通常给定一定量的学习样本来训练网络,最终根据网络的输出与期望的误差来倒调网络权重,如此反复进行最终达到训练目标。具体过程为输入信号经过逐层的传播,每一层的神经元的状态影响下一层神经元的状态,在这过程中神经网络间的权重是不发生改变的;当达到最终的输出层时,如果训练的结果达不到预期,则需要神经网络的误差信号向后传播来逐层调节权重从而使最终的实际输出更接近期望值。需要注意的是,在应用BP算法时,权重的初值、学习方式以及学习速率的选取都会影响学习效果,而且局部最小问题会造成在学习过程中出现振荡现象从而不能很好地趋于最优解。于是,需要对BP算法进行改进与完善以便于更符合人们的预期。
4 动态神经网络
动态神经网络的引入对于更深入地研究神经网络的实际应用具有重要意义。动态神经网络中有一类单层反馈型神经网络成为Hopfield神经网络,分为DHNN与CHNN两大类。当神经网络的连接权重是齐次对称时,此时神经网络在任何输入条件下都能趋于稳定状态。当规定每个神经元只有兴奋和抑制两种状态并且每个神经元之间都存在相互连接时即构成二值型Hopfield网络。在研究此类网络时,可以采取同步或者异步两种方式,即神经元的状态调整并行与否。通过利用动力学中的能量观点来观察此类神经网络时可以发现每个神经元的状态最终会趋于稳定的状态,而且稳定状态与能量函数在状态空间的局部极小状态是相对应的。由此可以引入学习方法来训练此网络,常见的有Hebb学习规则,此外,Hopfield神经网络还具有联想记忆功能。
5 总结
人工神经元网络的研究会随着社会的发展与科学技术的进步而不断完善,如何进一步深入人工神经元网络的研究并广泛应用其研究成果还需要投入更多的时间和精力。
参考文献:
[1]张远望.人工智能与应用 [J].中国科技纵横,2015,(20):22.
[2]曾红玉.基于神经网络BP算法的改进[D].乌鲁木齐:新疆大学,2003.
[3]蒋宗礼.人工神经网络导论[M].北京:高等教育出版社,2001.
关键词:人工神经元;神经网络;智能控制
前言:
人工神经元模型是人工神经网络的系统模型,主要是模拟人脑神经细胞的工作特点而建立。学习并掌握人工神经元的组成机制以及学习特点有助于发展智能控制理论,尤其在机器学习领域将有巨大的促进作用。
1 神經元模型
1.1模型建立
神经元模型的建立经历近半个多世纪,尤其在最近十多年间人工神经元网络研究取得很大进展。人工神经元网络并不是简单的数学模型,而是一个巨大的复杂的非线性动力学系统。为了方便研究,将其拆分为一个个神经元模型进行研究,然后将一个个单元进行组合分析其综合作用。类似于人脑的神经元结构,人工建立的神经元模型是一个具有非线性且具有多个输入单个输出的器件。不同的神经元网络结构具有不同的功能,但均具有学习的功能。从数学角度分析人工神经元不难得出其输入与输出间的数值关系,依据这些数值关系可以建立不同的数学模型,例如Tan函数型、Sigmoid函数型等等,这些数学函数模型的建立有利于分析人工神经元的工作特点,进而得出神经网络的学习特点。
1.2模型分类
由于神经网络的复杂性以及算法的多样性,神经网络模型也各式各样,如CMAC小脑模型、Blotzman机网络等。通过神经元的互相连接协调构成了庞大而复杂的神经元网络。目前的神经网络大致可以分为前向型网络(各级神经元之间不存在反馈关系)、反馈型网络(网络的输入层和输出层之间的神经元之间具有反馈联系,其它层不存在)、混合型网络(同一层的神经元可以产生横向抑制或者兴奋效应)、互相结合型网络(此种模型的任何神经元之间均可能存在联系)。
1.3神经元特征
通过对于人体神经元的研究,人体神经元具有很多生物特征,建立的人工神经元模型正是基于生物神经元的特征而建立起来的。最明显的特征有记忆以及记忆信息的储藏功能,由此部分神经元的损伤并不会丢失全部信息。人体神经元犹如多台并行工作的计算机一样处理着各种复杂多变的信息,这需要各个神经元的协调且高度的配合。此外,执行智能行为时需要很多部分的神经元配合,即分散性控制。谈到机器学习,最重要的功能是自学习的功能,即不需要过多干预机器能够自主学习并适应环境,通过联想及以往经验从而做出正确的决策,并且做出的决定是具有一定的容错性质的。
2 学习算法
2.1分类
人工神经元正如人体学习过程一样,分为有指导和无指导两大类型。在进行人体神经元的研究中,结合建立的人工神经元模型,引入期望这一概念。如果人工神经元学习的结果能够按照期望发展,并且当结果与期望值有一定的误差时,神经网络能够及时调整学习的方式(即调整相互之间的权值),这样的学习方式称为有导师的学习。相反,没有给予神经网络学习目标,但是建立一个能够间接评估学习效果的体系,这种学习模式称为无导师学习。如果按照神经元之间联系权重的更改方式又可以分为纠错学习、相关学习、无导师学习等。
2.2泛化能力
人脑能够适应万千世界中的各种事物离不开人脑具有泛化能力这一重要特征。例如,当输入量中夹杂着部分噪声时,人脑依旧能够从中获取到其所需的有用信息而不受噪声所影响,人工神经元网络也应达到当输入存在差异时其输出能够同样准确而全面的效果。在有导师学习的模式下,选取具有一定概率特征的样本的部分作为人工神经元的训练模板,经过学习,人工神经元的输出与期望值之间会存在一定的偏差。同时,从样本中再选一部分来验证人工神经元的学习效果,验证过后会和期望值间产生一个新的误差,此时的误差与训练的误差间的差值可以作为评价人工神经元的泛化能力。这种能力和人工神经网络的输入、网络节点及训练样本等密切相关。
在进行神经网络训练时会涉及到一种数学方法,即梯度法,这只是一种求解无约束最优化问题的解决方法,主要利用函数的解析性质使之不断收敛从而求得最优解。人工神经元在建立模型的时候会建立数学函数,在训练过程中往往需要用到这种方法。首先需要确定搜索方向与搜索的步长,在给定初始点的情况下通过计算搜索方向一步步进行迭代最终求解。
3 前向神经网络
前向神经网络在人工神经网络中应用广泛,每一层神经元的输出作为下一层神经元的输入,通常分析按照单一、单层、多层的不同层次进行,单一神经元是研究其他层次的理论基础。单一神经元的输出受到多种因素的影响,加之自身存在阈值,故通常建立数学函数来描述单一神经元的工作特点。引入激励函数作为数学模型的表达方式,单一神经元的输出可以看做是多个外界输入和自身阈值的综合的激励函数表达式。这样单层神经元的数学表达式便是单层神经元的综合效果,即累加模式。由于多层神经元的各层输入与上一层的神经元输出密切相关,故需要一层层计算当层神经元的输出进行递进求得最终输出层神经元的输出。在实际的研究过程中,为了解决问题的方便,通常可以假设每一层神经元的激励函数的表达式均是相同的,即共用一个激励函数,这样最终神经元的输出表达式便得到统一。
在进行前向神经网络的研究中,BP学习算法得到了广泛应用。前向神经网络通常利用网络的实际输出与期望输出进行对比从而调整网络权阵进行训练。BP学习算法通常给定一定量的学习样本来训练网络,最终根据网络的输出与期望的误差来倒调网络权重,如此反复进行最终达到训练目标。具体过程为输入信号经过逐层的传播,每一层的神经元的状态影响下一层神经元的状态,在这过程中神经网络间的权重是不发生改变的;当达到最终的输出层时,如果训练的结果达不到预期,则需要神经网络的误差信号向后传播来逐层调节权重从而使最终的实际输出更接近期望值。需要注意的是,在应用BP算法时,权重的初值、学习方式以及学习速率的选取都会影响学习效果,而且局部最小问题会造成在学习过程中出现振荡现象从而不能很好地趋于最优解。于是,需要对BP算法进行改进与完善以便于更符合人们的预期。
4 动态神经网络
动态神经网络的引入对于更深入地研究神经网络的实际应用具有重要意义。动态神经网络中有一类单层反馈型神经网络成为Hopfield神经网络,分为DHNN与CHNN两大类。当神经网络的连接权重是齐次对称时,此时神经网络在任何输入条件下都能趋于稳定状态。当规定每个神经元只有兴奋和抑制两种状态并且每个神经元之间都存在相互连接时即构成二值型Hopfield网络。在研究此类网络时,可以采取同步或者异步两种方式,即神经元的状态调整并行与否。通过利用动力学中的能量观点来观察此类神经网络时可以发现每个神经元的状态最终会趋于稳定的状态,而且稳定状态与能量函数在状态空间的局部极小状态是相对应的。由此可以引入学习方法来训练此网络,常见的有Hebb学习规则,此外,Hopfield神经网络还具有联想记忆功能。
5 总结
人工神经元网络的研究会随着社会的发展与科学技术的进步而不断完善,如何进一步深入人工神经元网络的研究并广泛应用其研究成果还需要投入更多的时间和精力。
参考文献:
[1]张远望.人工智能与应用 [J].中国科技纵横,2015,(20):22.
[2]曾红玉.基于神经网络BP算法的改进[D].乌鲁木齐:新疆大学,2003.
[3]蒋宗礼.人工神经网络导论[M].北京:高等教育出版社,2001.