人工神经网络以人的大脑工作模式为基础,通过大量神经元的相互作用来体现处理能力。人工神经网络最重要的特点就是学习能力。从本质上讲,人工神经网络的学习过程是一个优化的过程,即根据具体的误差信息来合理地选择网络的权重。目前,人工神经网络的优化学习算法,仅利用网络的输出数据误差作为指导信息来进行网络训练,而没有有效引入样本点数据之间的关联关系误差来指导网络训练,导致网络泛化能力差、实用性不大。单纯将输出数据误差最小作为标准来指导网络进行训练,其本质只是对样本数据精确插值,而这样的插值是非光滑的,从而对非样本数据产生较大误差。因此,在网络训练过程中,除了考虑样本数据所提供的信息外,还应考虑样本数据间的关联关系,并把这些关系转化为约束形式引入到网络学习优化过程当中。在网络模型的输入与输出关系的建立中,最重要的指导信息是输入与输出之间的导数关系,只有正确建立了这种导数关系才能建立输入与输出之间正确的数值对应关系。本文以神经网络学习优化为主线,以提高神经网络训练速度和质量为目标,着重研究前向神经网络学习优化方法,通过对现有的优化方法进行研究和总结,提出在神经网络训练中引入导数约束关系,强调输入与输出之间的导数关系在网络训练中的重要性。主要研究工作包括:神经网络学习优化过程中导数关系的引入策略与方法、导数关系的提取与建模、基于导数约束关系的神经网络训练算法设计,并用Matlab进行仿真。研究及实验结果表明:本文所提出的方法能大幅度降低网络输出误差,减少训练时间和训练次数,改善了网络的泛化能力。