论文部分内容阅读
随着现代传感器、多媒体技术、计算机通信及网络技术的飞速发展与广泛应用,人们经常需要存储、处理与分析规模更大、高维更高、结构更复杂的数据,如人脸图像、监控视频、生物信息数据等。如何从被噪声或奇异点污染或部分丢失的观测数据中恢复原始数据,已成为机器学习、数据挖掘、模式识别及计算机视觉等领域的热点研究问题。最近几年,低秩矩阵与张量恢复及补全的核范数最小化方法取得了广泛的应用。然而,它们的算法往往都需要迭代求解,而每次迭代又要进行一次或多次较大规模矩阵的奇异值分解(SVD)或特征值分解计算,其时间复杂度非常高。此外,矩阵或张量分解也是低秩矩阵与张量恢复及补全常用的一类方法,然而这类方法对噪声及给定秩不够鲁棒。为了克服上述的困难,本文围绕快速低秩矩阵与低秩张量恢复及补全问题中模型的建立、算法的设计及算法的分析等方面进行了系统的研究。从二阶矩阵到高阶张量,所取得的主要研究成果有:1.为了避免每次迭代过程中较大矩阵的SVD求解,提出了一种基于矩阵三分解的快速核范数最小化框架。该框架可推广应用到三类问题:低秩矩阵填充、低秩与稀疏矩阵分解和低秩表示。受启发于SVD与非负矩阵分解,把矩阵的三分解思想引入到核范数最小化问题中。然后又分别提出了鲁棒主成分分析、低秩表示和低秩矩阵填充的较小规模核范数最小化模型。最后,还给出了相应的交替迭代的求解算法。大量的实验结果表明了该章提出的快速矩阵分解的核范数正则最小化方法无论在性能与效率上还是鲁棒性上都超过了相关的核范数最小化算法。2.针对引入过多辅助变量从而导致迭代速度变慢的问题,提出了一种矩阵双分解核范数正则的线性化框架。在此框架下,首先给出了一种矩阵双分解的线性化低秩表示模型,并推导了其交替迭代线性化算法。作为上述模型的拓展,又提出了一种矩阵双分解的线性化低秩矩阵填充模型,并提供了其交替迭代线性化算法。最后还理论分析了算法的收敛性。3.矩阵分解核范数正则框架的推广与应用。该章内容不但推广了第二章的方法,提出一种半正定约束的低秩表示模型,而且还推广了第三章的方法,提出一种低n-秩张量补全模型。然后又分别给出了上述两个模型相应的有效迭代求解算法。通过大量的人工数据及实际数据的实验,验证了本章提出的两种算法的可行性与有效性。4.针对矩阵分解的不唯一性导致求解过程易陷入局部极小的问题,将黎曼流形的思想引入非光滑优化问题中,提出了一种欧式空间梯度与黎曼梯度混合的交替迭代框架用来求解核范数最小二乘问题。不但避免了大规模矩阵的SVD计算,还能确保迭代算法的解收敛到原始核范数模型的最优解。首先,对线性化近似的目标函数进行矩阵分解将其转化为Grassmann流形上的优化问题;然后在Grassmann流形上推导其黎曼梯度,使用Grassmann流形梯度下降算法,并采用非精确策略交替迭代求解。最后还给出了算法的收敛性分析。5.针对现有张量补全方法每次迭代需计算多重较大规模矩阵的SVD,从而导致复杂度非常高的问题,提出一种核心张量核范数最小化的框架。受经典的张量Tucker分解的启发,该章首先定义了一种核心张量核范数,并分析了定义的核心张量核范数与张量核范数的关系。然后又给出了核心张量核范数的张量补全模型,将大规模矩阵的SVD计算转换成小规模矩阵的SVD计算问题,从而使得提出的模型具有很低的计算复杂度。最后,还给出了一种基于交替方向乘子法的迭代求解算法。6.为了克服低n-秩张量核范数最小化问题计算复杂度高的问题,并根据经典的PARAFAC(CP)分解的定义及性质,提出了一种新的因子矩阵秩最小化方法,并将提出的该框架应用于张量补全问题。为了区别已有的低n-秩模型,本文将提出的方法称为广义张量秩的张量填充方法。通过使用凸松弛技术,给出了相应广义张量核范数的张量补全模型,并推导了一种基于交替方向乘子法的迭代求解算法。最后通过大量的人工数据和实际数据验证了提出的算法的有效性与高效性。