极速学习算法是最近几年提出的一种新颖的机器学习算法,最早应用于单隐层前馈神经网络的学习,目前在函数逼近,时间序列预测,模式识别等方面有成功的应用。以单隐层前馈神经网络为模型,极速学习算法只要求激活函数可以无穷阶的可微,在输入权值和隐藏层偏置随机设置的情况下,网络的所有参数就不必迭代的调整,而是通过求一个最小化误差二范数的最小二乘解获得。因为当隐藏层参数随机设置时,输出层权值能够以解析的形式求出解的形式,所以能够实现非常快速的学习,称为极速学习。该方法具有原理简单、学习快速、适应性好的特点。虽然极速学习简单快速,但是该算法并没有利用到数据的判别信息,目前也没有将判别信息融入极速学习的方法。与此同时,极速学习,其网络一般采用较大规模的隐藏层结构,需要优化,而压缩采样技术提供了一种有效的数据稀疏化方法,将两种方法结合起来,也是一个新颖的研究方向。最后,针对实际问题中的在线学习需求,需要将有效的学习模型推广至在线模式。针对以上问题,本文主要对极速学习算法进行了较为深入的研究,所做工作主要如下：(1)提出利用判别信息的极速学习算法。这里采用了两种方式来使用判别信息。第一种方式采用了构建正则化项的方法,在构建正则化项的时候,同时嵌入了数据的判别信息和结构信息；第二种方式采用了线性判别分析对极速学习网络的隐藏层进行特征提取和降维,充分利用了隐藏层所包含的判别信息。两种方式都提高了极速学习算法的效果。(2)利用压缩采样技术优化极速学习的网络结构。压缩采样技术的优点在于只需要很低的采样率就能高效的还原数据。基于此,将极速学习网络的参数进行压缩采样就能实现网络结构的优化。这种结构优化方法不仅可以降低网络的复杂度,而且有可能带来更好的推广能力。此外,还利用压缩采样技术类似的让极速学习网络实现对数据的特征选择。(3)在线极速脊波核函数网络研究。这里提出了两种在线极速学习算法。这里,首先利用脊波核函数构建极速学习网络。第一种方式利用核在线最小二乘方法进行在线学习,利用核方法改进了在线极速学习方法；第二种方式是在线性判别分析的基础上,利用滑窗技术对隐藏层进行实时更新,由于不断融入数据的判别信息,实现了一种新的在线极速学习方法。本文的工作得到了国家自然科学基金(61072108,60601029,60971112,61173090),教育部新世纪优秀人才项目(NCET-10-0668),高等学校学科创新引智计划(111计划)：No.B0704和中央高校基本科研业务费(JY10000902041)的资助。