极限学习机的改进与扩展研究

来源 :河北工业大学 | 被引量 : 0次 | 上传用户:xiaoliang668
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在各种神经网络中,单隐层前向网络(SLFNs)由于其简单的结构和逼近能力而在理论和应用领域都被广泛地研究。但是,传统的单隐层前向网络学习算法,比如基于梯度的方法,可能面临如收敛缓慢和局部最小值等一些挑战。不同于传统神经网络理论,一种叫做极限学习机(ELM)的学习模式被提出。相对于传统方法,极限学习机能具有更快的学习速度和更好的泛化效果,并能克服一些传统方法遇到的困难。近来,极限学习机受到越来越多的关注,为了解决不同问题,如在线学习、学习排序、半监督和无监督学习等,人们提出了很多不同形式的极限学习机算法;同时,极限学习机也被直接使用在很多应用领域,比如生物医学、计算机视觉、系统建模和预测等。本文的研究主要分为两部分。在第一部分,我们主要研究极限学习机的增量构建方法,提出了一种新的增量极限学习机:可变长增量极限学习机(LCI-ELM)。LCI-ELM允许一次增加多个隐层结点,已存在的网络结构作为一个整体更新输出权值,新增加结点的输出权值计算采用部分误差最小方式。我们证明了用LCI-ELM构建的网络在紧致输入集上具有全局逼近能力,并且也能实现对有限的训练数据的插值逼近。然后,在多个数据集上对LCI-ELM和I-ELM、CI-ELM及EI-ELM进行了实验对比,实验结果说明了LCI-ELM具有更快的收敛速度。在第二部分,我们研究使用极限学习机解决概念漂移问题,提出了带有遗忘系数的极限学习机(FP-ELM)。在训练过程中,FP-ELM对数据进行逐个或逐块地学习;每当有新数据到达,FP-ELM就依据学习器的当前表现为之前的训练数据分配一个遗忘系数,以适应可能发生的变化。我们在几类具有概念漂移的分类和回归问题上将FP-ELM的效果同两种常用的集成方法的效果进行了对比。对比结果表明,FP-ELM能够在更短的训练时间里达到与集成方法相近或更好的效果。
其他文献
聚类是数据挖掘中一种重要的技术。它从数据库中寻找数据间的相似性,并依此对数据进行分类,使得不同类中的数据尽可能相异,而同一类中的数据尽可能相似,从而优化大规模数据库的查
随着计算机技术、网络通信技术、地球空间技术的发展,传统的GIS向着信息共享的WebGIS发展,WebGIS正成为大众化的信息工具,越来越多的Web站点提供空间数据服务。但我们不得不面对
双目立体视觉的距离测量在三维重构、非接触式精确定量测量和危险场景感知等领域有着广阔的应用前景。一般的双目立体测距系统主要包括四个部分:立体标定,图像校正,立体匹配,立体