由于仅考虑希望的输入／输出信息而没有考虑网络的结构属性和所要解决问题的先验信息或约束条件，传统的基于梯度下降的反向传播算法及其诸多改进的算法都无法避免收敛速度慢、泛化性能差等缺陷。因此，将问题中所蕴涵的先验信息编码进学习算法的研究无疑是一个具有重要意义的研究方向，它能够使网络的训练有方向可循，而不会误入“歧途”，从而节省网络的学习时间并能提高网络的泛化能力。本文主要针对基于先验信息编码的约束学习算法这一主题来开展理论与应用研究，主要工作可以概括为以下几个方面： 1．提出了一类改进的耦合附加函数约束的学习算法，该类算法通过隐单元和输出单元激活函数的一阶或二阶微分信息构造附加的函数约束，并将它们耦合到算法的附加能量函数中去。该类算法能够同时降低输入输出映射灵敏度和惩罚训练中产生的连接权的高频分量，从而使该类算法提高网络的泛化性能和收敛速度。此外，本文还深入研究了隐层单元的附加约束和输出层单元的附加约束的不同组合、隐单元数目和算法中自由参数对网络泛化性能的影响。特别地，本文提出了将放大的梯度函数运用到以上约束算法中，使得算法收敛更快并能增大跳出局部极小点的可能性。最后将这些新算法用于解决时间序列预测问题，取得了较好的效果。 2．为了提高函数逼近精度和收敛速度，提出了三个约束学习算法。这三个逼近算法将从函数逼近问题中提取的先验知识耦合进约束算法中。先验信息耦合进算法中是通过两种方式来实现的，其一是以结构约束的方式来实现的，也就是根据泰勒定理可以将网络的输出表示成多项式的形式；其二是以连接权约束的形式来实现的，即根据微分中值定理求出函数一阶二阶导数近似估计值，再将导数信息表示成权值函数约束并耦合进网络的能量函数中去。与传统的前馈网络逼近算法相比，这三个算法具有收敛快、逼近误差小的特点。 3．根据早期非小细胞肺癌预后预测问题的特点，提出了极端学习机和主分量分析相结合的预测模型。由于充分利用了极端学习机和主分量分析的特点，该模型预测精度高、速度快，取得了传统医学方法无法比拟的效果。