论文部分内容阅读
极速学习机(Extreme Learning Machine, ELM)是近十年前提出的一种快速机器学习算法,它最早应用于单隐层前馈神经网络的学习,由于其具有结构简单,学习速度快,以及良好的泛化性能等优点受到众多研究学者们的关注.随着ELM的发展,理论和实证研究表明, ELM适用于广义单隐层前馈神经网络(如:支持向量机、多项式网络、径向基网络、以及传统的前馈神经网络),同传统的单隐层前馈神经网络的隐层节点参数需要不断调整的原则不同, ELM学习理论表明,前馈神经网络的隐层节点参数可以随机生成,并且所有隐层节点参数可以独立于目标函数和训练数据集.正是因为隐层节点参数可以随机选取,输出层权值能够以解析解的形式求出,所以ELM能够实现非常快速的学习.特别地, ELM可以直接应用于回归和多分类应用中并且有不错的性能表现.然而ELM仍然存在着不足之处,例如:在图像分类中对噪声图像分类效果并不是较好导致其分类精度不高;在回归应用中,训练含有离群值的样本得到的模型稳健性不强;随机隐层节点参数选取导致网络不具有稀疏性.本文主要针对以上三个问题进行研究,具体研究内容及创新点如下:(1)设计了一种基于ELM和稀疏表示的混合图像分类器.该分类器融合了稀疏表示图像分类对特征选取的不敏感优势和ELM快速的分类能力.具体结合点是提出了一种简单的ELM错分图像估计准则和自适应字典降维方法,这样ELM错分图像可以由鲁棒性强的稀疏表示分类器进行分类,而自适应字典降维也使得稀疏表示分类的计算时间得到降低.实验结果表明此混合分类器不仅分类精确性比ELM高而且分类速度比稀疏表示分类器快.(2)为了降低离群点对ELM泛化能力的影响,在正则化ELM和加权正则化ELM的基础上,提出了两种基于1范数损失函数的稳健回归算法.在这两种算法中都采用了快速的增广的拉格朗日乘子法求解1最小化.实验结果表明这两种算法对含有离群点的训练数据有较强的鲁棒性.(3)针对ELM随机隐层节点参数选取导致隐层不具有稀疏性的缺点,提出了一种基于2范数正则化的稀疏ELM网络构造算法.实验结果表明该算法可以用较少的隐层节点数取得较好的泛化性能.