近年来随着学习理论研究的深入,各种机器学习算法开始应用到实际问题中,由于许多机器学习算法涉及到矩阵的求逆或者分解,而求解这一问题的时间复杂度约为O(n3),当数据集规模较大时,机器学习算法的效率变得极为低下,这在很大程度上影响了机器学习算法的应用前景。针对这一问题,本文主要讨论了如何对机器学习算法进行加速,并将其应用到具体的算法中。ELM (Extreme Learning Machine)算法由单层前向神经网络发展而来,与传统单层神经网络不同的是,ELM算法对于隐层节点的参数不再需要通过从训练数据中学习得到,而是直接通过随机方法获取,这使得其与传统的基于神经网络结构算法相比有了更快的学习速度。ELM算法学习过程中同样需要涉及矩阵的求逆,这会受到数据规模的影响。本文针对这一问题给出了一种基于矩阵近似的ELM加速算法。如果给定的参数合理,本文提出的算法可以在不降低太大精度的前提下,将ELM算法的速度提高若干倍。同时本文还将这一思路应用到LS-SVM (Least Square Support Vector Machine)算法中,也取得了令人满意的效果。在标准数据集上的实验结果证明了本文提出算法的有效性及可行性。本文的主要成果包括：(1)深入探讨了机器学习算法中存在的问题,分析了现有的矩阵近似方法。(2)提出了基于Nystrom方法的ELM加速算法。该算法通过选择数据集中的标志点,利用标志点通过Nystrom方法构建核矩阵的近似,然后在近似核矩阵上求逆训练ELM学习器,这样可使ELM算法计算时间复杂度从O(n3)变为O(nm2+m3)(m为标志点个数)(3)提出了基于Random近似的ELM加速算法。该算法通过Random方法找出核矩阵的low-rank近似子空间,在低秩子空间上求逆训练ELM学习器,这样可使ELM算法计算时间复杂度从O(n3)变为O(kn2+K3)(k为低秩子空间的数值秩)(4)提出了基于矩阵近似的LS-SVM加速算法。该算法可以有效提升LS-SVM的训练速度,使得LS-SVM在现有基础上速度提高一到两倍。本文的研究成果的适用范围不仅局限于ELM算法以及LS-SVM算法的加速上,而且可以推广到一般的机器学习算法中,具有重要的实际应用价值。