论文部分内容阅读
基于BP算法的BP网络在计算上以并行为主,具有很强的鲁棒性和容错能力,并且非线性单隐层BP网络可以实现以任何精度近似任何连续非线性函数,因此BP网络在实际应用中受到广泛关注。但是,由于采用梯度下降法训练网络,BP算法容易陷入局部极小点、收敛速度慢、从而全局搜索能力较弱。
与BP算法相比,遗传算法(GA:Genetic Algorithm)、微粒群算法(PSO:Particle Swarm Optimization)等优化算法具有较强的全局搜索能力。遗传算法和微粒群群优化算法都随机初始化种群,采用适应值来评价系统并且都根据适应值来进行一定的随机搜索。和GA算法相比,微粒群算法不要求目标函数具有连续性,且它的搜索方式具有全局性和并行性,所以算法简单,收敛速度快,且不再有GA算法的选择、交叉、变异等复杂操作。但对于复杂问题,微粒群算法易早熟收敛,无法保证收敛到最优点。而且和BP算法相比,它的局部搜索能力较弱。
本文主要将PSO和BP结合起来训练前馈神经网络以提高算法的收敛速度和网络的泛化性能,并且就PSO过早收敛问题提出了一些改进的方法。本文的研究工作主要有:
(1)在将PSO和BP结合起来的基础上提出两个混合算法,算法在克服PSO和BP的缺点的同时发扬它们的优点。混合算法降低了训练过程中陷入局部极小点的几率,实验结果也验证了算法有优于传统算法的收敛性能。
(2)针对粒子群算法早熟的问题,本文提出了增加粒子群多样性的PSO算法。算法从每个粒子的每一维矢量着手考虑,通过一随机函数对每个粒子进行扰动,提高粒子群多样性,随着迭代次数的增加,扰动的幅度也随之减小,保证算法收敛。此外,对于一类具有单调性样本,将样本中单调信息耦合到每个粒子中,以减少粒子群陷入局部极值的可能性,同时增加粒子群的多样性。实验结果也说明了该类方法的有效性。