神经网络在诸多应用领域展现出了优异的性能,这很大程度上依赖过度参数化的模型结构,以及各类数据增强技术提供的数据量保证。在此发展趋势下,神经网络的损失表面愈加复杂,仅通过最小化训练损失已经无法保证模型的泛化性能。对神经网络的泛化误差与收敛点特性展开研究,设计更高效的性能提升算法尤为重要。统计学习理论通过假设空间与样本数量构建泛化误差上界,虽然无法完整解释神经网络的泛化性能,但此类理论具备重要的指导意义。本文基于统计学习理论分析神经网络的实验结果,针对收敛点锐度和决策函数平滑度,展开对神经网络泛化性能的研究,并提出了两种新的性能提升算法:Equilibrium Ensembles（EE）算法、Equilibrium Ensembles V2（EEV2）算法。主要创新点与工作贡献如下:（1）通过对PACB-Bayes边界定理的实验验证,发现收敛点的抗扰动能力与锐度相对应,锐度越小,模型的鲁棒性越强,其泛化性能越优异;此外,通过对数据集中的数据样本计算欧氏距离可以发现,分类数据集都具备类间距离远、类内距离近的数据特点,故通过统计数据集中不同类别数据样本的累计损失值,可以衡量模型的泛化性能。基于上述实验发现,本文提出了EE算法,通过动态损失权重为每个子模型构建不同权值分布的训练数据,并设计了训练边界针对性地收集具备平衡类别训练损失的子模型,最后将所有子模型显式集成实现模型的泛化性能提升。（2）通过对Rademacher复杂度的实验验证,发现即使假设空间很复杂,梯度下降算法也可以依方向性地搜索到决策函数,并且决策函数的平滑度也对应了模型的鲁棒性,低损失的平滑决策函数具备更优异的泛化性能;此外,由于局部最优点、困难样本等因素的影响,决策函数的权值容易波动,造成决策函数不平滑,进而影响泛化性能。基于上述实验发现和之前研究经验,本文提出了EEV2算法,不增加模型参数量,不改变模型结构,具备更优异的性能提升和普适性;通过周期性学习率衰减策略,在基础模型上训练得到多个子模型,每个子模型分别对应不同权值的决策函数,使用算术平均对所有子模型进行参数的隐式集成;虽然算术平均可以缓解权值的波动,但算术平均容易受到极大值或极小值的影响,并且局部最优点之间往往是高损失区域,所以本文在训练子模型的损失函数中设计了惩罚项,其具体形式是以基础模型和子模型的输出分布计算双向KL散度,通过此惩罚项可以有效地限制子模型与基础模型的参数差异。对以上两个算法进行实验,证明EE算法可以有效地平衡训练损失的离散程度;EEV2算法可以有效地提升决策函数的平滑度。两个算法在CIFAR数据集上,对大多数主流网络模型实现显著性能提升。