论文部分内容阅读
模式识别是研究利用计算机来模仿或实现人类的识别能力,以实现对研究对象的自动识别,其相关技术已被广泛应用于人工智能、机器学习、神经生物学、医学等众多领域。在模式识别学习中,分类器作为模式识别研究的基本工具,模式作为其研究对象,因此分类器设计与模式已成为模式识别的研究重点。本文从模式识别研究对象――模式出发,力图设计出能尽可能考虑模式先验知识的分类器,即面向模式表示及模式源的分类算法。本文的主要贡献在于:(1)提出一种面向模式表示的分类器设计方法。该方法能直接操作非向量模式(矩阵),从而形成不同于向量型分类器的传统设计理念。新的分类模型可直接操作矩阵(包括那些原为向量模式而通过矩阵化重构的矩阵模式)使传统向量型分类模型作为其特例。本文从现有性能优越的向量型线性分类器入手,通过选出合适的模型进行合理地非向量化(矩阵化)改造。力图在保持分类器线性性的同时,设计出性能更优的面向非向量(矩阵)模式的新型分类器,并探究其性能提升的本质所在。这种新的设计理念有助于:i)在仍保持分类器线性、简单和数学易处理的同时,探究非向量化(矩阵化)的模式表示对分类器推广性能的影响;ii)分类器存储空间的大规模约简。最终为分类器设计提供一个新的途径。(2)设计了两种矩阵型分类器算法:i)矩阵型最小平方支持向量机(MatLSSVM);ii)矩阵型正则化Ho-Kashyap分类器算法(MatMHKS)。实验验证了所设计的矩阵型分类器算法在所用的数据集尤其是图像上,相比向量型分类器具有显著的推广性及存储复杂度上的优势。(3)针对矩阵型分类器存在的矩阵化依赖问题,提出了基于AdaBoost的矩阵型分类器设计方法以达成去依赖的目的,并以MatLSSVM为例设计了改进型的AdaMatLSSVM算法。(4)提出了一种全矩阵化的分类学习方法,即将矩阵型特征提取与矩阵型分类器设计相结合的学习方法(MatFE+MatCD)。为验证该方法的有效性,本文给出了特征提取与分类器设计两个阶段中模式分别以向量和矩阵表示的所有可能组合,包括:矩阵型特征提取+向量型分类(MatFE+VecCD),向量型特征提取+向量型分类(VecFE+VecCD),矩阵型分类(MatCD),向量型分类(VecCD)以及向量型特征提取+矩阵型分类(VecFE+MatCD)。实验验证了:i)在原本包含结构或空间信息的图像模式上,全矩阵化方法即MatFE+MatCD能有效提高分类性能;ii)模式的矩阵表示为特征提取与分类器设计两个阶段的学习提供了又一简单有效的表示形式。(5)发展了一个更为广泛的结合模式源的多视角学习框架,主要体现在:i)设计了一系列将单源模式多视角化的方法。现有多视角学习要求多源模式各视角间满足条件独立性,但现实中这一条件往往难以满足,导致已有多视角方法较难有效工作。提出的将单源模式多视角化方法则能有效解决这一问题;ii)不同于现有多视角学习在每个视角上的各自训练,本文提出了同时在生成的多视角模式上进行联合优化训练的方式;iii)所给出的多视角学习框架并不限于某一具体算法;iv)类似于模式可分为单视角(单源)和多视角(多源),本文通过将单一体系结构的分类器与具有多个体系结构的分类器分别视为单视角分类器和多视角分类器,从而将现有的分类学习模型分为单源模式+单视角分类器、多源模式+单视角分类器、单源模式+多视角分类器与多源模式+多视角分类器的四种形式。考虑到现有分类研究主要集中于前两种模型,因此本文以单源模式+多视角分类器模型为例进行了重点研究,并针对单源模式设计出五种不同的多视角分类学习算法,即a)MultiK-MHKS;b)MultiV-KMHKS;c)MVNA-KMHKS;d)MultiV-MHKS;e)MVDR。并实验验证了它们的有效性。