论文部分内容阅读
由于二维主成分分析、二维线性判别分析及其相关方法能够克服二维数据中维数灾难问题,这些方法最近几年成为研究热点之一。在这些方法中,非迭代方法如非迭代双边二维主成分分析、非迭代双边二维线性判别分析等倍受关注,主要原因是在训练双边投影时,非迭代方法比迭代方法的计算更有效。但是我们发现已存在的方法在选取最优投影维数时,不能充分利用非迭代的特性,以致现有的非迭代方法和迭代方法的检验代价是相同的,又因为可能的投影维数个数特别大,所以这个检验代价通常是非常昂贵的。
本文提出了一个有效且适用所有非迭代方法的模型选择算法,该算法只需要计算一次最大维数的错误率就能得到所有可能维数的错误率,因而本文提出的新算法可以大大减少检验代价。实证结果验证了该算法的有效性。
线性判别分析是一种常用的监督降维技术,但把线性判别分析应用到二维数据时,通常会遭遇维数灾难和计算代价高的问题,因而最近几年学者们提出了许多二维线性判别分析方法来克服或者减轻这些问题。其中,由Ye等人[1]在2005年提出的二维线性判别分析是一个重要的发展,它的思想是利用二维数据潜在的结构来寻找一个最优的双线性变换,但是该算法存在的缺陷是不能保证其收敛性。本文利用二维数据潜在的结构,提出进一步把二维数据的协方差矩阵建模成可分离的协方差矩阵,并提出可分离双边二维线性判别分析。可分离双边二维线性判别分析可以像经典线性判别分析一样得到一个漂亮的解析解。
此外,本文还证明了文献中存在的非迭代双边线性判别分析就是本文提出的可分离双边二维线性判别分析的一种特殊情况,因而对这种方法的有效性提供了理论依据。实证结果表明,本文提出的可分离双边二维线性判别分析可以获得与迭代双边二维线性判别分析相当甚至更优的识别表现,同时计算上更为有效得多。