在高维数据分析中,降维技术是一种常见的机器学习方法,其在计算机视觉、模式识别等众多领域有着广泛的应用。因此,研究高维数据的降维技术具有重要的理论意义和应用价值。本文从建立模型、理论分析、参数选取、算法设计以及模型评价等多个角度深入研究几类降维技术,并将研究结果应用于图像识别问题。本文主要创新工作如下:建立了线性和线性化降维方法的统一特征模型,分析了特征模型中系数矩阵的若干性质,并给出了特征模型可直接求解的充分条件,为后续算法设计提供了理论依据。对稀疏保持投影（SPP）方法中出现的小样本问题,建立了指数型SPP方法。在适当假设下,证明了指数型SPP方法可获得比SPP方法更多的鉴别信息。利用系数矩阵的结构特征,提出了求解指数型SPP方法的两个数值算法。这两个算法能有效地计算矩阵指数函数以及求解矩阵指数特征值问题。对局部保持投影（LPP）方法中出现的小样本问题,建立了正则化最小二乘LPP方法。在适当假设下,证明了 LPP方法等价于具有右端项的最小二乘问题。基于建立的等价性,提出了求解LPP解的两个正则化最小二乘算法。分析了两种正则化最小二乘算法与Laplacianface方法之间的联系。基于QR分解的动态更新算法,提出了动态更新正则化最小二乘问题解的块增量式和块减量式算法,说明了块增量式和块减量式算法可节省大量计算量和存储量。基于线性判别分析（LDA）方法与正则化最小二乘问题之间的联系,提出了动态更新LDA解的块增量式和块减量式算法。对非负最小二乘问题,提出了一种新型投影梯度算法,并分析了该算法的收敛性。将非负矩阵分解和正则化非负矩阵分解转化为两个非负最小二乘子问题,提出了求解非负矩阵分解和正则化非负矩阵分解的新型投影梯度算法。