论文部分内容阅读
高维数据广泛存在于数据挖掘、计算机视觉和模式识别的许多实际应用中。它给人们提供了大量新的机遇,同时也带来了诸多挑战。一方面,高维数据中蕴含的丰富信息拓展了人们对于客观事物的认知;另一方面,高维数据也增加了数据处理和存储的时间和空间复杂度,同时也带来了潜在的“维数灾难”和“过拟合”问题。此外,高维数据中大量冗余、无关甚至是噪声特征严重影响了数据分类、聚类以及可视化的性能。对高维数据进行维数约简（或降维）是解决上述问题的重要方法和有效手段,其目的是获取数据紧致和有效的低维表示。特征提取（或特征变换）和特征选择作为两类不同的降维方法,得到了大量学者的广泛关注。特征提取将原始高维特征空间变换到低维特征空间,属于特征产生的过程,新的特征是原始特征的线性或非线性组合;而特征选择是根据某种准则或依据,从庞大的原始高维特征中选出一组最优特征子集,属于特征筛选的过程,且所选特征保持了原始特征的物理意义。图嵌入框架理论将大多数的降维算法归结为图的构造及其嵌入形式。其中,图的构造是最重要的。不同的图构造方式反映了数据不同方面的信息。本文以图的构造和应用为主线,以高维小样本数据为研究对象,针对现有的一些方法存在的重构误差大、判别能力不足等问题,提出了几种特征提取和特征选择方法。主要的工作和研究成果集中在以下几个方面:（1）借鉴局部线性判别嵌入（LLDE）的研究思路,针对协同表示投影（CRP）判别能力不足的问题,提出了一种协同表示判别嵌入（CRDE）方法,并应用于图像特征提取。该方法首先利用协同表示构造图,并以此构造代价函数来表征数据间的协同重构关系;然后将改进的最大间距准则（MMC）作为正则项,明确地引入判别信息。因此,CRDE更适合于分类问题。此外,从图嵌入角度的进一步分析表明,许多常见的特征提取方法,如局部保持投影（LPP）,邻域保持嵌入（NPE）,稀疏保持投影（SPP）,协同保持投影（CRP）以及判别稀疏邻域保持嵌入（DSNPE）等,都可以统一到CRDE的框架中。最后从识别率、参数分析以及特征提取时间三个方面验证了算法的有效性。（2）深入分析正则化最小二乘判别投影（RLSDP）中存在的重构误差大（或重构精度低）和判别能力不足的问题,提出了一种增强的正则化最小二乘判别投影（ERLSDP）方法。在ERLSDP中,对于每个样本,我们使用相关样本所有的表示系数进行重构,因而解决了RLSDP中重构误差大的问题;然后,针对RLSDP判别能力不足的问题,我们构造了一个具有块对角结构的权矩阵（对应于类内紧致图）来刻画数据的类内几何结构,并根据该权矩阵明确地最小化所有同类样本（更精确地说,是每个样本与其所属类别样本对应的重构形式）之间的距离,从而使得类内样本的分布更加紧凑;最后,通过最大化类间散度信息和最小化所有类内样本之间的距离得到ERLSDP的最优投影矩阵。在无遮挡和遮挡条件下的人脸识别实验验证了ERLSDP的有效性。（3）针对传统LDA忽略了样本局部信息以及投影向量个数较少的问题,提出了一种结合协同表示图（2L-graph）的协同保持Fisher判别分析（CPFDA）方法。由于协同表示系数分布的局部特性,该方法可以看成是融合了局部几何和全局判别信息的一种新方法。CPFDA的优点是能够保持样本的协同重构关系,同时还继承了LDA全局判别特性,因而能够取得较好的实验效果。理论和实验结果显示CPFDA能够获得比LDA更多有意义的投影向量个数（具体地说,CPFDA可获得的投影向量个数为LDA的两倍）。进一步分析表明,LDA和MFA都可看作是CPFDA的特例。此外,通过将Gabor特征应用于CPFDA,进一步提高了CPFDA的性能。（4）针对同时正交基聚类特征选择（SOCFS）方法没有利用数据的局部几何结构信息的问题,结合L2,p范数提出了一种局部保持正交基聚类无监督特征选择（LPOCFS）方法。LPOCFS方法以SOCFS为基础,但却具有更重要的特点。第一,LPOCFS构造了一个局部近邻图来明确地表征数据的局部几何结构,因此可以选出更具有判别性的特征子集;第二,LPOCFS对特征选择矩阵施加L2,p（0（27）p?1）范数约束,因而在控制特征选择矩阵的稀疏性方面具有更大的灵活性;第三,针对实际优化中,簇指示矩阵（CIM）难以同时满足正交性和非负性的问题,我们提出了两种优化策略,对应的算法分别表示为nLPOCFS和oLPOCFS。其中,oLPOCFS更强调CIM正交性的作用,而nLPOCFS则更侧重于CIM的非负性。实验结果表明了oLPOCFS和nLPOCFS的有效性。