论文部分内容阅读
确定或选择某种距离度量是模式识别、机器学习和聚类分析等研究中的一个核心问题。例如,选择一个优良的距离度量,对于很多计算机视觉领域的问题(如图像分类、基于内容的图像检索等等)是非常重要的。而直接基于样本距离的一些算法,如k均值聚类(k—means)、k近邻分类器(k—NN)等,其正确率更是决定于所选择距离度量的性能。
常用的距离度量,例如欧式距离、闵可夫斯基距离等等,它们与训练集和领域知识完全独立,并没有利用问题特定的信息。而在模式识别和机器学习等这些特定的领域中,所要求的度量常常可以从训练集上学习得到,也可以通过对特定或一般数据集上的先验知识、设计准则来指定。前者即所谓的度量学习问题,在最近几年得到了很大的关注和发展;而后者(可以称为度量设计问题)则常常是一个更为困难的问题,这是由于“先验”的知识和准则通常很难获得、表达和验证。
图像欧式距离(image Euclidean distance,IMED)和广义欧式距离(generalizedEuclidean distance,GED)是一族重要的图像距离度量。各种实验和应用证实了这两种度量在大量实际问题中都使得性能得到提升。实际上,IMED和GED属于一类更广泛的距离度量:平移不变(translation invariant或者shift invariant)度量。平移不变陛是任意一个直观上合理的图像距离的必要性质。
IMED和GED可以通过线性变换嵌入到大部分图像分类算法中去,其相应的变换分别称为标准化变换(standardizing transform,ST)和广义欧式变换(generalized Euclidean transform)。然而,ST和GET都不是平移不变变换。由于平移不变变换在理论和实际应用中都具有十分巨大的意义,有必要研究它们之间的关系。
本文对平移不变度量的理论基础和应用进行了研究,解决了平移不变度量与变换之间关系的理论问题,并提出了几种新颖的算法。本文的主要贡献如下:
1.我们为每一个平移不变度量都显式地构造了相应的平移不变变换。在此基础上,我们试图给出IMED和GED在模式识别应用中能取得有效结果的理论基础。在给出平移不变度量与变换关系的过程中,我们提出了度量滤波器的概念。通过度量滤波器这一理论工具,我们证明了任意平移不变变换诱导了输入空间上的一个平移不变度量度量;反之,任意平移不变度量等价于一个平移不变变换后的欧式度量。
2.度量滤波器的引入不仅为我们在变换域上考虑度量问题提供了可能,也可以提高计算的时空效率。我们提出了IMED的一种快速实现算法,使得空间复杂度从O(n2/1n2/2)下降到O(1),时间复杂度从O(n2/1n2/2)下降到O(n1n2)。
3.我们研究了变换域上的度量设计问题。我们以IMED为例进行了空域/频域上的度量分析,并根据分析结果为USPS手写数字图像库设计了一个度量滤波器(也就是一个平移不变的二阶度量);我们设计的度量比IMED的分类能力要好,体现在比较一致的性能提升和更好的鲁棒性。
4.我们研究了变换域上的度量学习问题。从度量的频域视角出发,我们提出了一个新颖的度量学习算法TDML(transform domain metric learning),来进行平移不变的二阶度量学习。TDML试图同时最小化平均类内距离和最大化平均类间距离,这一判据Xiang等人提出的XNZ算法比较相似。相较于XNz算法,TDML以5~10倍的计算效率,提供了可与XNZ相较的识别正确率,而在小训练样本数量的情况下,TDML,的识别率非常显著地优于LDA、XNZ和SVM等算法。