神经网络是机器学习中最重要的模型之一,它基于无次序、无规则的样本数据集,试图从中提取出描述此样本数据集特征的数学模型。其中,BP神经网络因其结构简单、算法易于实现且理论坚实,能够实现复杂的非线性映射,所以广泛应用于模式识别、智能控制等领域。但是,在BP网络实际应用中也存在一些不足,其主要有收敛速度慢、易于产生过拟合,进而影响了网络的泛化能力。网络的泛化能力也就是对于未见样本的辨识能力,是体现神经网络性能的一个重要指标。提高网络泛化能力的一个指导思想是训练出在训练集能够达到精度要求并且其结构尽可能简单的网络。本文首先研究了网络结构优化算法,通过剪枝的方法在网络训练过程中删去一些不重要的单元和链接。重点分析了在传统的误差函数中加入惩罚项的间接剪枝法。在此基础上,针对网络收敛速度慢、产生过拟合的不足,设计了一种基于信息理论学习的惩罚项函数,通过正则化方法把一些先验知识融入到网络的学习中,旨在提高泛化能力,同时解决训练效率问题。最后,实验比较了传统BP算法,带惩罚项的BP算法以及改进后基于信息熵惩罚项的算法的性能。实验结果表明,本文提出的基于信息熵的惩罚项算法的性能较优,并且训练效率较高。