论文部分内容阅读
人工神经网络是一门新兴的边缘和交叉科学,其研究70年以来,已经被广泛的应用到多个领域中,而其中前馈神经网络在许多领域有着广泛的应用。一直以来,我们都把网络泛化能力看做是检测神经网络各项能力的一个重要标准。经过前人不断的探索,人们发现具有较好泛化能力的网络要满足一个条件,那就是能让训练样本集上逼近精度的规模达到最小。为了得到上面所说的那种小网络,人们研究出一种有效的方法,即网络修剪法,它主要包括直接修剪法和惩罚项法。事实证明,直接修剪法会使网络结构遭到破坏,往往使得网络训练需要很长的时间。而惩罚项方法是一种间接修剪网络的办法,这样不重要的连接就有较小的权值,修剪这些权值就可以使网络的复杂性大大减小,惩罚项法在没有破坏网络结构的同时又达到网络修剪的目的,从而是提高神经网络泛化能力的一个重要方法。近年来一些学者开始了L1/2正则子的研究,并证明了其具有无偏性、稀疏性及Oracle等优良理论性质。我们希望能利用L1/2正则子的这些优越的性质更好的进行神经网络学习,因此本文尝试将L1/2正则子加入到惩罚项中,通过数值试验来研究在批处理模式下,带L1/2惩罚项的BP算法的收敛性,探索各参数的变化对整个网络的输出误差及权值矩阵稀疏性的影响,努力找出L1/2惩罚项相比较其他惩罚项的优越性本文回顾一些有关神经网络的背景知识,介绍前馈神经网络及BP算法,同时将正则化框架与L1/2正则子提出来并给出理论分析。另外本文介绍几种常见的惩罚项,并描述带L1/2惩罚项的批处理BP算法。在本文的主要工作中,我们对批处理BP算法的误差函数进行数值对比试验,首先探索学习率的变化对函数误差的影响性,然后我们进行带L1/2惩罚项和L2惩罚项的批处理BP算法数值对比试验,找出各参数变化对批处理BP算法的误差以及权值矩阵稀疏性的影响,进行比对分析。最后得出结论,期望L1/2惩罚项能在神经网络的学习中得到更好的应用。