论文部分内容阅读
在各种神经网络中,单隐层前向网络(SLFNs)由于其简单的结构和逼近能力而在理论和应用领域都被广泛地研究。但是,传统的单隐层前向网络学习算法,比如基于梯度的方法,可能面临如收敛缓慢和局部最小值等一些挑战。不同于传统神经网络理论,一种叫做极限学习机(ELM)的学习模式被提出。相对于传统方法,极限学习机能具有更快的学习速度和更好的泛化效果,并能克服一些传统方法遇到的困难。近来,极限学习机受到越来越多的关注,为了解决不同问题,如在线学习、学习排序、半监督和无监督学习等,人们提出了很多不同形式的极限学习机算法;同时,极限学习机也被直接使用在很多应用领域,比如生物医学、计算机视觉、系统建模和预测等。本文的研究主要分为两部分。在第一部分,我们主要研究极限学习机的增量构建方法,提出了一种新的增量极限学习机:可变长增量极限学习机(LCI-ELM)。LCI-ELM允许一次增加多个隐层结点,已存在的网络结构作为一个整体更新输出权值,新增加结点的输出权值计算采用部分误差最小方式。我们证明了用LCI-ELM构建的网络在紧致输入集上具有全局逼近能力,并且也能实现对有限的训练数据的插值逼近。然后,在多个数据集上对LCI-ELM和I-ELM、CI-ELM及EI-ELM进行了实验对比,实验结果说明了LCI-ELM具有更快的收敛速度。在第二部分,我们研究使用极限学习机解决概念漂移问题,提出了带有遗忘系数的极限学习机(FP-ELM)。在训练过程中,FP-ELM对数据进行逐个或逐块地学习;每当有新数据到达,FP-ELM就依据学习器的当前表现为之前的训练数据分配一个遗忘系数,以适应可能发生的变化。我们在几类具有概念漂移的分类和回归问题上将FP-ELM的效果同两种常用的集成方法的效果进行了对比。对比结果表明,FP-ELM能够在更短的训练时间里达到与集成方法相近或更好的效果。