论文部分内容阅读
大数据时代,计算机和多媒体技术迅速发展,每时每刻都在生成大量的图像和视频数据。面对如此海量的数据,不仅有效识别它们已经成为一项巨大挑战,甚至简单的存储和读取都会存在困难。数据降维表达是解决数据存储、读取及识别等问题的一种重要手段。因此数据降维表达已成为人们广泛关注的课题,并取得了丰硕成果。传统的数据降维表达方法主要是基于欧氏空间进行建模和优化。在欧氏空间中处理一些具有约束的问题常常使用拉格朗日法或贪婪算法,而这些方法往往会导致次优解的生成。为了在数值计算中获得更精确的数值解,黎曼流形优化开辟了一个新的方向。采用黎曼流形优化有两个显著的优势:第一,对于许多具有黎曼几何结构约束的优化问题,通过黎曼流形上的优化可以更好地利用约束空间的几何结构,转化为黎曼流形上的无约束优化问题,从而获得更精确的数值解。第二,通过引入适当的度量,可以将某些欧氏空间中的非凸问题转化为黎曼流形上的凸问题,进而改善数值计算方法,获得全局最优解。鉴于黎曼流形优化的优势,本文研究黎曼流形上数据降维模型的建立和优化问题。论文的主要创新性工作包括以下几个方面:第一,针对黎曼流形优化算法使用函数一阶信息收敛速度慢的问题,本文提出黎曼流形上的加速优化算法(Fast Optimization Algorithm,FOA),并在理论上证明了该策略的函数值序列具有的收敛率。另外,针对低秩表示问题,本文提出了基于黎曼流形的増广拉格朗日法,并使用快速优化算法进行优化。实验结果表明,黎曼流形上的快速优化算法确实起到加速效果,同时,黎曼流形上低秩表示获得较高的聚类正确率。第二,针对偏最小二乘回归问题,现有方法都是在欧氏空间中建模和优化。对偏最小二乘回归因子的正交约束或者广义正交约束,通常都是采用贪婪算法逐列求解,这常常只能获得次优解。为了克服这一缺点,本文提出了黎曼流形上的偏最小二乘回归模型及优化算法,该算法对偏最小二乘因子进行整体优化,获得更精确的数值解。此外,为了避免过拟合问题,提出黎曼流形上的稀疏偏最小二乘回归模型,并将其应用到图像分类问题。实验结果表明,与同类回归方法相比,本文提出的黎曼流形优化模型和算法具有最高的分类正确率。第三,针对具有拉普拉斯噪声图像特征降维表达,基于欧氏空间的方法都是通过极大化低维特征方差矩阵的L1范数进行建模,然后采用贪婪算法优化,贪婪算法虽然计算复杂度低,但往往导致生成次优解。因此,本文将投影矩阵的正交性约束看作乘积流形,提出乘积流形空间上的L1范数的二维主成分分析模型,对投影矩阵进行整体优化,获得更精确的数值解。实验结果证明,和同类降维方法相比,使用乘积流形上的降维模型和优化方法,能够更好的去噪和提取特征。第四,针对主成分分析只考虑了数据特征的线性相关性,而高维数据特征之间常常具有非线性相关性。为了解决这个问题,本文提出一种基于深度参数化学习的最大相关主成分分析模型,该模型利用深度参数化框架,将具有非线性相关的数据特征映射为线性相关性特征,再进行主成分分析降维。并进一步推导出模型的学习算法。实验结果表明,与常用的线性和非线性降维算法相比,本文提出的算法在模拟数据集和几个真实数据集上都获得了较好的识别率。