神经网络的训练可以被认为是需要考虑泛化的高维非凸最优化问题。从最优化的角度考虑,训练算法的收敛速率和适用性是被关注的重点。从泛化角度入手,神经网络在测试集上的表现很重要。从这两个角度出发,本文提出了一类用于训练神经网络的方法,并将这些方法应用于乳腺癌诊断/预后、扁平足诊断和图像分类任务中。本文主要开展了如下三方面的工作。（1）为提升伯恩斯坦多项式神经网络（Bernstein polynomial neural network,BPoly NN）的泛化性能,本文提出有序岭回归方法。在嵌入了有序岭回归的BPoly NN（BPoly NN with ordered ridge regression,BPoly NN-O）提取的特征中,低频成分占主导。本文通过仿真验证了有序岭回归方法在不同维度下的有效性。此外,BPoly NN-O被应用到乳腺癌诊断/预后中。相应的实验结果表明,BPoly NN-O的泛化性能优于原始Bpoly NN和参与比较的常用机器学习模型。（2）为提升神经网络的训练精度,本文提出多重伪逆方法。与BPoly NN等基于伪逆训练的神经网络不同,多重伪逆方法将神经网络中的所有参数迭代地训练,且只需少量迭代即可完成训练。为验证多重伪逆方法的有效性,进行了数值仿真。基于多重伪逆方法,构建了多重伪逆神经网络（Multiple-pseudo-inverse neural network,MPNN）。在此基础上,本文将MPNN应用到扁平足诊断中,并进行了MPNN与其它常见神经网络的对比实验。实验结果表明,MPNN在该扁平足诊断任务中具有优良的性能。（3）为提升深度神经网络的泛化性能,本文提出了对损失曲面变形以诱导优化器跳过尖锐极小值点的方法。此外,通过定义普遍意义上的形变映射,为从多个角度提高优化性能提供了可能。本文还设计了用来促进泛化的垂直形变映射（Vertical deformation mapping,VDM）,并从理论上证明其在低维和高维情形下均可滤除尖锐极小值点。基于二维情况下的仿真,由观测到的海森矩阵特征值可知VDM可以诱导优化器跳过尖锐极小值点。此外,本文还验证了直接增加学习率不能替代所提出的方法。本文将VDM嵌入到卷积神经网络中,并进行了对损失曲面的可视化实验。该实验结果表明,使用了VDM的网络可收敛到更平坦的区域。将VDM应用到图像分类任务后,在CIFAR和Image Net上进行的比较实验表明VDM可以提高多种卷积神经网络在图像分类中的泛化性能。