论文部分内容阅读
在信息爆炸时代,海量数据的涌现在促进机器学习、模式识别、计算机视觉等人工智能领域迅速发展的同时也带来数据处理方面的挑战。如何从数据中抽取本质的数据表示,学习到有用的信息,是这些领域的一个关键问题。低秩是一种描述数据结构的重要性质,适合用来提取数据的本质特征。本文围绕计算效率和模型的鲁棒性,从噪声的鲁棒表示、融合标签信息、融合行列空间信息、保留张量结构信息等角度对低秩分解进行系统的研究,并应用于计算机视觉。主要工作包括:1、基于相关熵的快速而鲁棒的低秩矩阵分解。Go分解(Go Decomposition,GoDec)是一种高效的低秩矩阵分解方法,但是其有效性是基于“高斯+稀疏”的噪声假设。本文解决的第一个问题是将一个矩阵分解成低秩成分和复杂的噪声污染成分。通过引入一种称为相关熵的局部相似性度量和最大相关熵准则(Maximum Correntropy Criterion,MCC),在GoDec的基础上,本文提出一种更鲁棒且更快的低秩矩阵分解方法:GoDec+。该算法利用半二次(Half-Quadratic,HQ)优化和贪婪双边(Greedy Bilateral,GreB)范式进行求解。本文基于流形上的优化理论对其收敛性进行了严格的分析。在生成数据和真实的视觉数据上的实验都证实了GoDec+对几种常见噪声(高斯噪声、拉普拉斯噪声、椒盐噪声)与稀疏污染的混合以及遮挡等多种噪声污染具有鲁棒性并且算法速度快。本文进一步将GoDec+应用于分类和子空间聚类。对于分类,本文利用每个类由GoDec+得到的低秩矩阵来构造集成子空间,引入一种基于MCC的分类器来实现分类。对于子空间聚类,本文利用GoDec+得到的低秩矩阵来获得基于MCC的数据自表示,并构造图,最后采用谱聚类的方法进行聚类。人脸识别、运动分割和人脸聚类的实验验证了所提算法的鲁棒性。2、判别性低秩矩阵分解。虽然低秩矩阵分解的方法在分类问题中已有不少应用,但大多数现有的方法在学习低秩结构时并没有考虑标签信息。本文所解决的第二个问题是如何将标签信息融入低秩结构以更好地进行分类。本文的第二个工作将所提出的GoDec+算法扩展为判别性GoDec+(Discriminative GoDec+,D-GoDec+)。在所提的模型中,每个类由一个共享的隐子空间和该类特定的变换矩阵来表示。结构化标签信息和Fisher判别准则被用来对重构误差和稀疏进行建模。D-GoDec+采用HQ优化来求解,其收敛性有严格的理论分析。利用D-GoDec+,本文提出一种结合重构误差和系数判别性的分类判断标准。通过变换矩阵的使用,该分类方法避免了基于字典表示的方法中复杂的编码计算,因此非常高效。在人脸识别、物体分类、场景分类和行为识别中的实验结果展示了所提模型的优势。3、双线性低秩矩阵分解。低秩表示(Low-Rank Representation,LRR)在基于图的子空间聚类和半监督学习中受到大量关注。但是,现有的大多数方法直接采用原始数据作为字典而没有考虑构造一个精心设计的字典,并且更关注行空间而忽视列空间。本文所解决的第三个问题是如何综合利用行空间和列空间的信息来构建一个表达性更强的字典。本文的第三个工作将GoDec+扩展为双线性GoDec+(Bilinear GoDec+,B-GoDec+)。受益于双线性表示的形式,B-GoDec+可以同时利用行空间和列空间信息,并将结构化字典学习和数据表示统一为一个模型。由得到的数据表示来构建联结矩阵,并用于子空间聚类和半监督学习。本文还对B-GoDec+的性能和收敛性进行理论上的分析。在几个常用的机器学习研究库上进行的子空间聚类和半监督学习展示了所提方法的优越性。4、低秩张量分解。现实中的大量数据是以张量形式存在,许多低秩分解方法将张量当成矩阵或向量处理破坏了张量的结构信息。本文所解决的第四个问题是如何在进行低秩分解时保留张量结构。本文的第四个工作将GoDec扩展为张量GoDec(Tensor GoDec,T-GoDec)来处理张量数据。寻找张量的低n-秩近似是困难的,因为在张量一个模的矩阵展开优化它的秩可能改变张量在另一个模的秩。通过采用模-d乘积和数据本身来进行自表示,本文通过寻求低秩因子矩阵来避免直接寻求张量在每个模的矩阵展开的低秩矩阵。该问题通过GreB范式求解来避免计算耗时的SVD,算法的收敛性具有理论上的分析。受益于这种自表示的形式,T-GoDec不仅可以恢复噪声数据也可用于子空间聚类的联结矩阵。实验结果表明所提方法是快速而有效的。本文所提的算法均有理论上的收敛性分析,其有效性也在合成数据和计算机视觉的应用实验中得到验证。本文的研究表明低秩是一种描述数据结构的良好性质,并且具有良好的扩展性,可以应用于许多实际问题。