鉴于神经网络强大的非线性映射能力,人工神经网络近几十年来得到了快速的发展。在智能信息处理,模式识别,特征提取,压缩感知等诸多领域已有成功应用。梯度下降法是前馈神经网络常用的学习算法,主要有两种学习方式：批处理和在线学习。但是训练速度慢是反向传播神经网络(BP网络)的一个主要缺陷。已有的研究成果表明,训练过程中,满足逼近精度要求的前提下,较小规模的网络,其泛化表现较好。为了克服BP网络训练速度慢,泛化能力差的缺陷,在更新公式中加入动量项、惩罚项(也称为正则项)是常用的改进办法。已有文献多采用L2形式的惩罚项,起到了压制权值过大增长的目的,而加入动量项则加快了训练速度。但如何能简化网络结构,取得较好的稀疏化效果,降低成本,也是神经网络优化的一个重要方面。最近流行的L1/2正则化方法在稀疏效果方面有着独特的优势。但由于所用误差函数在原点附近不光滑,因此收敛性分析遇到困难。且数值试验显示在迭代过程中出现了振荡现象。为此我们采用光滑化技术,解决了这一难题。本文的研究内容着重于把L1/2正则化方法和动量项方法引入到前馈神经网络学习过程中来,以改进网络性能。同时我们给出算法的收敛性分析。本文的具体研究内容概括如下：1.第一章回顾神经网络相关的背景知识。2.第二章考虑带光滑L1/2正则项的三层前馈神经网络批处理算法的收敛性。首先证明了网络误差函数的单调性,接着给出了改进后算法的强、弱收敛性定理的严格证明。通过光滑化误差函数,克服了非光滑化L1／2正则化算法带来的误差函数、梯度范数在数值试验中出现的震荡现象。数值试验验证了理论结果,并且比较试验显示改进后算法在诸多方面更有优势。3.第三章给出了带光滑L1/2正则项前馈神经网络在线学习方式下的收敛性分析。无正则项时现有文献在关于网络收敛性证明中需要权值有界这一假设条件,但现实中这一条件比较苛刻,无法验证。本文严格证明了带光滑L1/2正则项时前馈神经网络权值学习过程中的有界性,使得证明神经网络算法收敛性的假设条件得到较大程度的弱化。我们还严格证明了该在线神经网络算法的强、弱收敛性。4.第四章研究了带光滑化L1/2正则项和自适应动量项的前馈神经网络算法的收敛性。在学习率为常数的情况下,自适应调整动量项因子,给出了该算法的强、弱收敛性定理,并予以严格证明。