最小二乘双支持向量机(双LSSVM)是双支持向量机(TSVM)的一种变形,被广泛的应用于分类与回归问题中。与TSVM解二次规划问题相比,LSSVM可转化为解一组线性方程组,从而提高了训练速度,但是失去了解的稀疏性,导致测试速度变慢,不适用于大规模数据集,所以稀疏化双LSSVM成了重中之重。本文主要是在双LSSVM的基础上提出两种改进方法:增量学习算法和稀疏化算法,主要工作包括以下两个方面。一方面,针对在求解双LSSVM目标函数时会出现对非满秩矩阵求逆的问题,本文提出改进的双LSSVM(双ILSSVM),即利用经验风险最小化原则避免病态解的产生。在训练过程中,利用Sherman-Morrison定理对矩阵的逆进行分解,然后重组矩阵的逆,得到一种结构相对简单、计算量小的迭代求解算法,又因为增量学习降低了对时间和空间的需求,所以本文提出基于Sherman-Morrison定理和增量学习的双ILSSVM算法,即SMI-双ILSSVM算法。该方法通过选取不同样本子集大小k来控制测试准确率和训练时间随迭代次数的变化情况。最后通过UCI数据集上的实验表明,本文提出的SMI-ILSTSVM增量学习算法能够实现高精度和高效率的分类效果,而且适合于含有噪声的交叉样本集分类。另一方面,基于去除特征空间中近似线性相关的一些向量的方法,即通过约减训练样本的方法消除分类判别函数中近似线性相关的一些分量。又因为利用表示定理可推导求解得到判别函数的稀疏表示,所以本文提出一种稀疏化最小二乘双支持向量机分类算法,即S-双LSSVM。该方法可通过控制稀疏程度的参数ξ的不同取值来控制算法的测试精度,当ξ取值为1.0e-1时,各数据集已经能够达到或接近最好的分类精度。最后通过线性分类和非线性分类的实验说明算法S-双LSSVM的有效性。