论文部分内容阅读
根据模型的低复杂性结构(如向量的稀疏性、矩阵的低秩性等),如何高效地从病态的线性逆问题中唯一且稳健地恢复出特定的信息是当代应用与计算数学家、工程技术人员、以及统计学家们共同关心的重要问题.由于其普遍性,该问题在以稀疏恢复与稀疏优化为重点内容的压缩感知、图像/信号处理、机器学习、大数据处理、高维统计等领域均有重大的理论与应用价值.本文围绕稀疏恢复和稀疏优化的?1极小化理论和计算展开研究并做出了以下四个主要的创新性结果:第一是关于?1极小化的稀疏恢复条件的研究.?1极小化解的唯一性和稳健性条件是稀疏恢复理论的核心内容,文献中已存在大量的相关工作,如连贯性条件、零空间条件、RIP条件等等,这些工作共同关心的是条件的充分性而非必要性,同时,验证这些条件是否成立的有效算法非常匮乏.针对这些问题,本文运用原对偶思想研究了对偶子条件,证明了该条件不仅是充分的还是必要的,并且可用来分析大量的?1极小化相关模型,例如?1分析极小化模型、可分解范数极小化模型、度规函数极小化模型等等.由于对偶子条件将?1极小化解的唯一性和稳健性的分析转化成满足特定条件的对偶子存在性的讨论,从而可设计算法验证特殊对偶子的存在性,以判断?1极小化解的唯一性和稳健性,基于这一思路本文给出了相应的验证算法.第二是关于结构随机矩阵限制特征值的研究.随机矩阵是压缩感知和数据降维问题中的重要分析工具.相对于一般的随机矩阵,结构随机矩阵的优势是具备低复杂度、低存储的快速算法,如结构随机循环矩阵与结构随机Fourier矩阵均可利用快速Fourier算法进行矩阵向量乘法.基于最新的解耦技术和矩阵值Bernstein不等式以及Laplace变换技术,本文针对一类列向量带随机符号的随机循环矩阵证明了聚中性质,进而推导了基于该类随机矩阵的Johnson-Lindenstrauss引理,在某些参数范围内,该引理优于当前文献中最好的结果.新的理论结果可用于随机矩阵RIP性质和一致稀疏恢复条件的研究.第三是关于两类经典的稀疏优化算法的研究.线性Bregman算法和奇异值阈值算法分别是压缩感知和矩阵补全中最有效的算法之一,这两类算法的主要缺陷是参数的选择以及算法的加速缺乏理论依据.为了克服这些缺陷,一方面,本文提出了强凸化的模型并推导了算法中参数的估计公式;另一方面,从强凸化模型出发,在近似点算子理论的框架下,利用对偶分析的思想提出了对偶梯度算法及其Nesterov加速格式.传统的观点认为梯度法的全局线性收敛性依赖于目标函数的强凸性,然而本文的研究表明限制强凸性质(严格弱于强凸性的新型函数性质)是保证全局线性收敛的充分必要条件.新的概念不仅突破了传统的观念,还丰富了凸分析与优化的相关内容.第四是关于近似线性迭代重加权算法的研究.首先,总结出了一类非凸非光滑的最优化问题,该问题囊括了本文涉及到的几乎所有凸型和非凸型的?1极小化模型;其次,结合近似线性化技术和迭代重加权思想以及函数光滑化技术,提出了求解该类问题的近似线性迭代重加权算法;最后,利用Kurdyka-?ojasiewicz性质并定义局部梯度Lipschitz性质,证明了新提出的稀疏优化算法的全局收敛性.值得一提的是,本文提出的算法是第一个具有全局收敛性的非凸非光滑的迭代重加权算法,可广泛应用于大量非凸非光滑模型的求解.本文的结尾总结了七个将来的研究方向:凸型优化与分析的理论和应用、随机采样与投影的技术和理论、基于高维几何的高维估计理论、面向大规模问题的次梯度算法、非凸优化算法及其全局收敛性、大数据背景下的高效并行算法、以及随机化算子分裂和原对偶方法,并遗留了三个公开问题.作者相信未来五到十年,这些方向将是计算与应用数学、信号/图像处理、机器学习、统计等领域中的主流研究方向.