近年来,随着数据采集技术的发展,在各种领域如计算机视觉、模式识别、生物信息以及医学图像处理等都要面临处理高维数据的难题。数据并不是维数越高越好,因为高维数据往往会包含很多噪声以及冗余信息。因此,近年来研究者们提出了大量的数据降维技术来解决上述的问题。数据降维是将高维数据约减到低维数据,并且能够保持数据本身固有的结构。特征提取是数据降维的一种重要方法,其中线性投影分析算法一直以来受到研究者的青睐。因此有大量的线性投影算法不断地被提出以及改进,其中常用的有基于最小二乘回归、度量学习以及传统线性判别分析等等。但是大多数算法都存在缺陷或者仅限于处理某一种特定的问题,比如,子空间非正交、近邻样本点选择受噪声干扰、小样本问题、对离群值敏感问题等等。为了解决这些问题,本文针对性地提出一系列新的以及改进算法,主要贡献点有:1.针对在传统最小二乘回归特征提取算法中子空间非正交,无法充分提取数据中的局部信息,本文提出一个新的正交最小二乘回归算法(OLSR)。该算法在传统线性回归算法的基础上对转换矩阵添加正交约束,使得计算出的子空间不仅能够保持更多的局部信息而且还能避免平凡解的出现。2.本文提出一种新的自适应寻找近邻方法即基于马氏距离度量方式,在此度量方式下寻找近邻样本点时可以排除无关变量以及噪声的干扰,从而更加精确地计算出最优投影子空间。3.受Robust Feature Selection(RFS)算法的启发,本文提出一种新的鲁棒线性判别分析算法(RLDA)。该算法能够很好地克服传统线性判别分析算法(LDA)的小样本问题以及对离群值敏感问题,从而对训练样本中的离群值有很好地抑制作用。