论文部分内容阅读
在传统的机器学习领域,大多数经典的机器学习算法都是基于向量空间的数据进行设计的。然而在实际问题中,许多实际数据需要通过张量形式才能进行更好的表示。若只是直接的将张量数据其转化为向量数据进行操作,这样因为大量的结构信息的丢失使得学习结果不甚理想。因此近些年来基于张量数据的机器学习方法得到了众多研究者的极大关注。使用张量类型的数据,不但保留了其独特的空间结构信息,同时张量学习方法也可以有效的控制优化问题中变量的个数,从而克服了在向量学习过程中经常出现的过度拟合现象。目前,基于张量数据的机器学习新方法被广泛研究及应用,己成为当今数据挖掘领域的一个新的研究热点。本文将从最优化方法的角度研究张量数据的学习问题,特别是基于张量数据学习问题的新模型的建立及其相应最优化方法,并将其最终应用于实际问题中。支持向量机方法是基于最优化方法解决向量型数据挖掘的有效方法,本文将以其为基础,针对张量数据建立各类数据挖掘问题的支持张量机新模型及其求解算法。本文所涉及的研究成果主要包括以下几个方面:1.建立了全新的张量学习框架---低秩支持张量机模型本文以统计学习理论为基础,讨论了经典支持张量机模型与支持向量机模型中存在的局限性。考虑打破经典支持张量机中张量权重参数的秩一限制,讨论了一种新的低秩映射方法,从而建立了全新的张量学习框架---低秩支持张量机模型。2.设计了求解低秩支持张量机模型的相关优化算法:张量梯度下降算法与张量二步法针对低秩支持张量机模型的求解,本文着重讨论了两个基于不同思想的张量优化算法:张量梯度下降算法和张量二步法。张量梯度下降算法通过对优化变量整体梯度的计算,避免了传统张量迭代算法中的大量的交替迭代过程。从而使得新方法在求解速度上得到了大大提升。张量二步法则基于找到一个较优的近似解的思路,通过顺序求解两个目标函数及可行域都更为简单的子优化问题,得到了低秩支持张量机原始模型的一个近似解。3.不平衡数据分类低秩支持张量机的建立基于本文所提出的低秩张量学习思想,通过对经典的双子支持向量机模型的推广,本文建立了用于解决张量数据的不平衡学习的新模型LS-TNPPC模型。新模型的提出不仅丰富了处理不平衡数据分类问题的数据挖掘方法,同时也说明了使用低秩张量模型的思想对传统的向量方法进行张量上的推广是行之有效的。4.核方法张量学习与多标签核支持张量机本文详细讨论了张量数据应用核方法时应遵循的原则。并根据张量数据的特点,给出了一种可应用于张量数据的核构造方法。通过这种核方法,本文建立了一个用以解决图像场景分类中多标签分类问题的优化模型,在实际问题中也取得了一定的成功。