论文部分内容阅读
本文针对BP神经网络的中存在的最优结构问题(即网络中隐层数和隐层节点数难以确定的问题)及BP算法的缺陷,分别从网络剪枝方法和遗传算法等方面给出了解决方法,提出了基于权值拟熵的快速OBS剪枝算法和基于递阶遗传算法的BP神经网络结构优化方法。同时,在所提理论的基础上,以MATLAB为仿真平台,实现了Hermit多项式和非线性函数的逼近及简单的模式分类问题,验证了所提方法在解决“网络最优结构”问题等方面的有效性。本文的主要研究内容包括以下四个方面:(1)分析研究BP算法,针对BP算法的缺陷,将网络的权值拟熵作为惩罚项加入到目标函数中来训练网络,使网络在训练过程中自动约束权值分布,并使网络权值的分布趋于集中。(2)针对BP神经网络中隐层节点数难以确定的问题,提出了一种基于权值拟熵的快速OBS剪枝算法。该算法对OBS剪枝算法进行了改进,能够大大提高网络的剪枝速度。实验结果表明,该算法能够得到网络的精简结构,对网络的泛化能力有较好的改善作用,并且能够提高剪枝算法的执行效率。(3)提出了一种基于递阶遗传算法的BP网络的结构优化方法,该方法利用递阶遗传算法中染色体的分层结构分别优化网络结构和权值,并用BP算法对进化后具有固定结构的网络权值进一步调整,从而实现了网络结构与权值的同时优化。实验结果表明,该算法能够得到网络的精简结构,并能大大提高网络的收敛速度。(4)以MATLAB为仿真平台,应用上述方法实现了对Hermit多项式和非线性函数的逼近及简单的模式分类问题,分析了各个方法的优劣,并对各个参数的性能进行了比较,验证了算法的有效性。