论文部分内容阅读
极限学习机作为一种基于广义的单隐层前馈神经网络的机器学习算法,由于其在回归问题和分类问题上都有很好的执行效果,因而近年来不论是在国内还是在国外都受到了越来越多的关注。众所周知,确定极限学习机的结构对其应用的成功起着至关重要的作用。而极限学习机结构的确定问题最根本的还是隐藏层结构的构建问题,获得一个更小规模的隐藏层结构可以为极限学习机带来更大的速度提升。本文在仔细剖析当前经典的极限学习机结构调整的相关算法之后,结合基于凸最佳增长的极限学习机理论(Convex Incremental Extreme Learning Machine,CI-ELM),提出了可修剪的凸最佳增长极限学习机(Pruned-Convex Incremental Extreme Learning Machine,PCI-ELM)。并且,为了确保所构建的单隐层神经网络有着较好的泛化性能,进一步对PCI-ELM进行改进,在神经元添加过程中引入筛选策略,从而提出了增强的可修剪凸最佳增长极限学习机(Enhanced Pruned-Convex Incremental Extreme Learning Machine,EPCI-ELM)。为了使得单隐层前馈神经网络的调整更加灵活,所得到的隐藏层结构最紧凑,本文摆脱了对单个神经网络的逐步构建最终形成目标神经网络的形式,而是提出了一种更具动态性的隐藏层结构确定算法:动态凸最佳增长的极限学习机(Dynamic Convex Incremental Extreme Learning Machine,DCI-ELM)。DCI-ELM 充分比较和组织当前所有引入的隐藏层神经元,从中寻找最紧凑的隐藏层结构。通过使用当前已知的隐藏层神经元,在构建过程中筛选出每个规模下最优的隐藏层结构。这种筛选具有竞争性,相同规模下,只有更好学习精度的神经网络会被保留用于寻找包含更好的更大规模隐藏层结构神经网络。并且,每个规模的神经网络在引入新的神经元时,都会与训练目标比较,拥有最简隐藏层结构的神经网络将最终胜出。最后,通过实验测试了 PCI-ELM、EPCI-ELM以及DCI-ELM在极限学习机隐藏层结构优化方面的效果。实验结果表明,PCI-ELM、EPCI-ELM以及DCI-ELM能够很好隐藏层结构进行控制,使得构建的单隐层前馈神经网络更加紧凑。