随着人工智能的快速发展,各种各样的人工智能算法吸引了越来越多的来自于科学研究和工业应用等方面的注意.人工神经网络是受大脑的功能和结构的启发,构建的人工智能算法,它继承了大脑的学习和推理特性,可以被看作是由简单类神经元构成的自适应非线性动态模型,能够逼近任意线性或非线性的函数关系.前馈神经网络是一种输入数据从输入层传输到输出层且无需反馈的网络,它是目前运用最广泛的神经网络之一.许多具有不同功能的网络模型,都是利用不同的技术对前馈神经网络进行改进得到的.例如,为了使得网络权值或者网络结构具有稀疏性,可以运用正则化方法;为了能够提取更深层次的特征表达,可以运用自编码神经网络和卷积神经网络等构建深度网络.本文主要是针对不同的前馈神经网络模型,结合正则化方法研究其稀疏性及学习算法.稀疏性是神经网络研究的一种非常重要的特性,它能合理地限制网络的规模,提高网络的学习效率,网络的泛化性,以及输入数据的可解释性.本文运用正则化方法直接或间接地对前馈网络的权值进行惩罚.在惩罚之后,若部分权值甚至某些节点的权值向量变成零,则相应的连接和节点对网络实际输出的计算没有任何贡献,它们是冗余的.以此为依据,就能找出冗余的连接和节点,从而实现前馈网络的稀疏化.本文的具体研究内容如下:1.考虑运用正则化方法识别并去除前馈神经网络输入数据中的冗余维及对应的输入节点,从而在训练网络的同时,实现对前馈网络输入层的稀疏化.在现存文献中,正则化方法经常用于网络的隐层,对隐节点的单个权值进行惩罚.而本文将正则化方法运用到输入层,对输入节点的权值向量按整体进行惩罚,把L1或L1/2正则项引入到输入层的权值学习中,驱使冗余输入节点的权值向量变成零,从而在不损害网络的逼近或分类效果的情况下,找出数据中的冗余维和网络中的冗余输入节点.2.继续深入研究前馈网络输入层的稀疏化,考虑运用一个光滑函数替代Group L1/2正则项中的绝对值函数,从而得到光滑Group L1/2正则化方法来修剪输入层中的冗余节点.这是通过将光滑Group L1/2正则项引入到训练过程中,驱使从冗余输入节点发出的权值向量趋于零来实现.相比于L1正则化,Group Lasso,光滑Group L1/2正则化能够同时实现权值层面和节点层面的稀疏性,还能克服在实验过程中由于Group L1/2正则化在原点处非光滑而产生的振荡现象,提高网络的泛化性.同时证明了学习算法的收敛性定理.3.提出一种L1/2稀疏自编码神经网络,将L1/2正则化方法作为一种稀疏性限制运用到自编码神经网络的隐层输出上,间接地对网络权值进行惩罚,从而获得输入数据更好的稀疏表达.这种表达能够提高输入数据的可解释性以及模型的泛化性.用所提出的自编码网络构造深度网络,可以提取更一般更抽象的数据表达,能够更准确地对数据进行分类.