论文部分内容阅读
1P
（1.第二炮兵士官学校103教研室，山东青州262500；2.第二炮兵士官学校202教研室，山东青州262500）
摘要：尺度不变局部特征以其良好的尺度、旋转和光照不变性，在计算机视觉、目标识别、三维图像重构等领域中得到了广泛的应用。本文在大量试验数据的基础上，总结了目前常用的几种尺度不变特征匹配算法的性能，比较得出各种算法的优缺点及其适用领域，并指出尺度不变局部特征检测算法的研究和发展趋势。
关键词：局部特征；尺度不变；图像匹配；特征检测
中图分类号：TP391.41 文献标识码：A文章编号：1007-9599 (2011) 09-0000-01
Scale-invariant Local Feature Detection Algorithm Study
Cao Juan1,Zhao Xuyang1,Mi Wengpeng2,Hong Chenghua1
（1.Teaching and Research Section103,the PLA Second Artillery Academy,Qingzhou262500,China;2.Teaching and Research Section202,the PLA Second Artillery Academy,Qingzhou262500,China）
Abstract:Scale invariant feature is famous for its wonderful scale invariance,rotation invariance and illumination invariance,which is widely used in computer vision,object categorization,3D image retrieval and so on.Proved by a large number of experiment dates,performance comparisons among the common scale invariant detectors showed us the advantage,disadvantage of each detector in this paper,which can help the new researchers to follow the right way according to their specific requirements.In the end,this paper indicates the developing trend of scale invariant detectors.
Keywords:Local feature;Scale invariant;Image matching;Feature detection
图像匹配技术是计算机视觉、三维图像标定、目标识别以及景象匹配导航和制导等领域中的核心技术之一。而匹配精度在很大程度上取决于特征检测算子的定位精度。尺度不变特征检测算法是一种对尺度变化具有良好的协变特性的算法，对于存在比例变化图像，可以提供较高的特征点定位精度，为后续的匹配处理奠定良好的基础。本文总结了目前常用的几种尺度不变局部特征检测算法，并从实际应用的角度出发，对比各种算法的优缺点，为工程应用中尺度不变算法的选择提出了建设性的意见。
一、尺度不变特征检测算法
尺度不变特征检测算法的理论基础来源于尺度空间理论。该理论最早出现于计算机视觉领域，目的是模拟图像数据的多尺度特征[1]，其主要思想是利用尺度空间高斯核与原图像的卷积对原始图像进行尺度变换，获得图像在多尺度下的尺度空间表示序列，通过大尺度下的模糊轮廓和小尺度下的精细结构等一系列的图像信息对原始图像进行表达。目前使用得较多的尺度不变特征检测算子主要有DOG[2][3][4]、Harris-Laplace[5][6]、Hessian-Laplace[5][7]。下面分别对这些检测算子进行介绍：
（一）DOG。DOG检测的思想最早是由Crowley和Parker于1984年提出来的。1999年Low改进了此方法，并将其应用于目标识别领域。该算法首先通过对高斯尺度空间的采样，建立高斯金字塔。高斯金子塔采样分阶，阶内又分层的结构。每阶每层都代表不同尺度值平滑后的高斯图像，随着阶数和阶内层数的增加尺度值逐渐增大。其金字塔特性体现在不同阶处理的图像大小不同，通过对降维采样，阶数越高则处理的图像越小。然后算法对高斯金字塔的相邻层相减，得到DOG金字塔，其每层的尺度保持为减数的尺度。这种提取方法以及参数使得特征点具有很强的旋转和尺度不变特性，并且对于光照、噪声以及仿射变化都具有一定的鲁棒性。（二）Harris－Laplace。该算子将Harris检测算子的可靠性与自动尺度选择相结合，使检测出的特征点具有尺度不变性。Harris检测算子以二阶动差矩为基础，该矩阵具有旋转不变性，但是要使得它能独立于图像分辨率的变化还需要适应尺度变化。本算法通过将基于图像灰度值的二阶动差矩变为基于高斯空间的矩阵，构造具有尺度适应性的二阶动差矩，利用该多尺度表达式来检测潜在的特征点。然后对于每个潜在的特征点，计算其Laplace-of-Gaussian函数值随着尺度的变化的响应图像，该图像的局部极大值点所对应的尺度即为特征尺度。对于在选择的尺度范围内LOG响应没有极值点以及响应值低于某个阈值的点则去除。这样对于满足要求的兴趣点，则以其位置和特征尺度对其进行标注，由此可见Harris-laplace算法提取出的这样的特征点则具有尺度和旋转不变性。（三）Hessian－Laplace。与Harris-Laplace类似，Hessian-Laplace也是通过两个度量分别检测兴趣点的位置和尺度的；所不同的是在进行兴趣点空间定位时，使用尺度归一化Hessian矩阵的行列式最为度量。研究表明基于Hessian矩阵的检测算子比基于二阶动差矩的算子更稳定，特征点的重复率更高。由于Hessian矩阵可以产生更少的拉伸以及错误定位的结构，所以Hessian-Laplace特征检测算子在稳定性和速度上都略高于Harris-Laplace。（四）显著区域检测算子（The salient region detector）。2001年，Kadir，T.和Brady，M.提出了显著性区域检测算子。该算子计算以像素点为中心的圆形区域的灰度值的概率密度函数（Probability Density Function），然后利用香农熵来定义局部区域灰度值分布的复杂性，并将其作为显著性度量，选择香农熵极值点所对应的尺度作为特征尺度，并计算当前点特征尺度下的显著度。检测算子通过比较不同点的显著度，将其分为不同的等级，并选出最具有代表性的点作为特征点。
二、性能比较
上述几种检测算法都是典型的尺度不变特征检测算法，同时兼具旋转不变性，对于图像光照变化、背景噪声以及视角变化引起的仿射、透视变换均具有一定程度上的鲁棒性。然而由于不同的检测算子使用的尺度空间度量函数不同，所以具有不同的个性化表现。检测算法评估显示在尺度变化的情况下，Hessian－Laplace具有最高的点重复率和定位精度，Harris-Laplace以及DOG算法次之，但是DOG算法的运算速度是三者中最快的，是Hessian-Laplace的两倍，Harris-Laplace的十倍。Harris-Laplace以及Hessian-Laplace对于角点和高度纹理化的点最敏感，而DOG则更适合于处理结构化图像；显著区域检测算法在速度和定位精度上都相对较差，但是在物体分类识别领域中展现出优良的性能。
三、小结
尺度不变特征以其优良的鲁棒性成为当前特征匹配算法研究中的热点。其中，DOG算子适用于实时性要求较高的场合，Hessian－Laplace适用于对定位精度要求较严格的场合，Harris－Laplace适用于纹理图像，而显著区域检测算法适用于对实时性要求较低的物体分类识别领域。总的来说，目前尺度不变特征检测算子运算速度相对比较慢，满足不了景象匹配导航和制导等对实时性要求高的领域的要求，如何改进现有算法的，在不降低精度的情况下提高算法速度，或以精度的略微下降换取速度的较大提高，是目前检测算子研究的热点；同时寻找新的更简单局部特征（如图像的饱和度等），开发新的特征检测算子以及检测算子的硬件实现也是值得深入研究的方向。
参考文献：
[1]FaugerasO,Robert L.What can two images tell us about the third one[C].Proceedings of the Europe Conference on Computer Vision,1994
[2]Crowley J,Parker,A.A representation for shape based on peaks and ridges in the difference of low pass transform.IEEE Transactions on Pattern Analysis and Machine Intelligence,1984,6(2):156–170
[3]Lowe D.G.Object recognition from local scale-invariant features.In Proceedings of the 7th International Conference on Computer Vision,1999,1150–1157
[4]Lowe D.G..Distinctive Image Features from Scale-Invariant Keypoints,Int’l J.Computer Vision,2004,60(2):91-110
[5]Krystian Mikolajczyk,Cordelia Schmid.Scale&Affine Invariant Interest Point Detectors.International Journal of Computer Vision.2004,60(1):63-86
[6]Kadir,T.,Brady,M..Scale,saliency and image description.International Journal of Computer Vision,2001,M.45(2),P:83–105
[7]Lindeberg T:Feature detection with automatic scale selection.IJCV30(2),1998,79-116
（1.第二炮兵士官学校103教研室，山东青州262500；2.第二炮兵士官学校202教研室，山东青州262500）
摘要：尺度不变局部特征以其良好的尺度、旋转和光照不变性，在计算机视觉、目标识别、三维图像重构等领域中得到了广泛的应用。本文在大量试验数据的基础上，总结了目前常用的几种尺度不变特征匹配算法的性能，比较得出各种算法的优缺点及其适用领域，并指出尺度不变局部特征检测算法的研究和发展趋势。
关键词：局部特征；尺度不变；图像匹配；特征检测
中图分类号：TP391.41 文献标识码：A文章编号：1007-9599 (2011) 09-0000-01
Scale-invariant Local Feature Detection Algorithm Study
Cao Juan1,Zhao Xuyang1,Mi Wengpeng2,Hong Chenghua1
（1.Teaching and Research Section103,the PLA Second Artillery Academy,Qingzhou262500,China;2.Teaching and Research Section202,the PLA Second Artillery Academy,Qingzhou262500,China）
Abstract:Scale invariant feature is famous for its wonderful scale invariance,rotation invariance and illumination invariance,which is widely used in computer vision,object categorization,3D image retrieval and so on.Proved by a large number of experiment dates,performance comparisons among the common scale invariant detectors showed us the advantage,disadvantage of each detector in this paper,which can help the new researchers to follow the right way according to their specific requirements.In the end,this paper indicates the developing trend of scale invariant detectors.
Keywords:Local feature;Scale invariant;Image matching;Feature detection
图像匹配技术是计算机视觉、三维图像标定、目标识别以及景象匹配导航和制导等领域中的核心技术之一。而匹配精度在很大程度上取决于特征检测算子的定位精度。尺度不变特征检测算法是一种对尺度变化具有良好的协变特性的算法，对于存在比例变化图像，可以提供较高的特征点定位精度，为后续的匹配处理奠定良好的基础。本文总结了目前常用的几种尺度不变局部特征检测算法，并从实际应用的角度出发，对比各种算法的优缺点，为工程应用中尺度不变算法的选择提出了建设性的意见。
一、尺度不变特征检测算法
尺度不变特征检测算法的理论基础来源于尺度空间理论。该理论最早出现于计算机视觉领域，目的是模拟图像数据的多尺度特征[1]，其主要思想是利用尺度空间高斯核与原图像的卷积对原始图像进行尺度变换，获得图像在多尺度下的尺度空间表示序列，通过大尺度下的模糊轮廓和小尺度下的精细结构等一系列的图像信息对原始图像进行表达。目前使用得较多的尺度不变特征检测算子主要有DOG[2][3][4]、Harris-Laplace[5][6]、Hessian-Laplace[5][7]。下面分别对这些检测算子进行介绍：
（一）DOG。DOG检测的思想最早是由Crowley和Parker于1984年提出来的。1999年Low改进了此方法，并将其应用于目标识别领域。该算法首先通过对高斯尺度空间的采样，建立高斯金字塔。高斯金子塔采样分阶，阶内又分层的结构。每阶每层都代表不同尺度值平滑后的高斯图像，随着阶数和阶内层数的增加尺度值逐渐增大。其金字塔特性体现在不同阶处理的图像大小不同，通过对降维采样，阶数越高则处理的图像越小。然后算法对高斯金字塔的相邻层相减，得到DOG金字塔，其每层的尺度保持为减数的尺度。这种提取方法以及参数使得特征点具有很强的旋转和尺度不变特性，并且对于光照、噪声以及仿射变化都具有一定的鲁棒性。（二）Harris－Laplace。该算子将Harris检测算子的可靠性与自动尺度选择相结合，使检测出的特征点具有尺度不变性。Harris检测算子以二阶动差矩为基础，该矩阵具有旋转不变性，但是要使得它能独立于图像分辨率的变化还需要适应尺度变化。本算法通过将基于图像灰度值的二阶动差矩变为基于高斯空间的矩阵，构造具有尺度适应性的二阶动差矩，利用该多尺度表达式来检测潜在的特征点。然后对于每个潜在的特征点，计算其Laplace-of-Gaussian函数值随着尺度的变化的响应图像，该图像的局部极大值点所对应的尺度即为特征尺度。对于在选择的尺度范围内LOG响应没有极值点以及响应值低于某个阈值的点则去除。这样对于满足要求的兴趣点，则以其位置和特征尺度对其进行标注，由此可见Harris-laplace算法提取出的这样的特征点则具有尺度和旋转不变性。（三）Hessian－Laplace。与Harris-Laplace类似，Hessian-Laplace也是通过两个度量分别检测兴趣点的位置和尺度的；所不同的是在进行兴趣点空间定位时，使用尺度归一化Hessian矩阵的行列式最为度量。研究表明基于Hessian矩阵的检测算子比基于二阶动差矩的算子更稳定，特征点的重复率更高。由于Hessian矩阵可以产生更少的拉伸以及错误定位的结构，所以Hessian-Laplace特征检测算子在稳定性和速度上都略高于Harris-Laplace。（四）显著区域检测算子（The salient region detector）。2001年，Kadir，T.和Brady，M.提出了显著性区域检测算子。该算子计算以像素点为中心的圆形区域的灰度值的概率密度函数（Probability Density Function），然后利用香农熵来定义局部区域灰度值分布的复杂性，并将其作为显著性度量，选择香农熵极值点所对应的尺度作为特征尺度，并计算当前点特征尺度下的显著度。检测算子通过比较不同点的显著度，将其分为不同的等级，并选出最具有代表性的点作为特征点。
二、性能比较
上述几种检测算法都是典型的尺度不变特征检测算法，同时兼具旋转不变性，对于图像光照变化、背景噪声以及视角变化引起的仿射、透视变换均具有一定程度上的鲁棒性。然而由于不同的检测算子使用的尺度空间度量函数不同，所以具有不同的个性化表现。检测算法评估显示在尺度变化的情况下，Hessian－Laplace具有最高的点重复率和定位精度，Harris-Laplace以及DOG算法次之，但是DOG算法的运算速度是三者中最快的，是Hessian-Laplace的两倍，Harris-Laplace的十倍。Harris-Laplace以及Hessian-Laplace对于角点和高度纹理化的点最敏感，而DOG则更适合于处理结构化图像；显著区域检测算法在速度和定位精度上都相对较差，但是在物体分类识别领域中展现出优良的性能。
三、小结
尺度不变特征以其优良的鲁棒性成为当前特征匹配算法研究中的热点。其中，DOG算子适用于实时性要求较高的场合，Hessian－Laplace适用于对定位精度要求较严格的场合，Harris－Laplace适用于纹理图像，而显著区域检测算法适用于对实时性要求较低的物体分类识别领域。总的来说，目前尺度不变特征检测算子运算速度相对比较慢，满足不了景象匹配导航和制导等对实时性要求高的领域的要求，如何改进现有算法的，在不降低精度的情况下提高算法速度，或以精度的略微下降换取速度的较大提高，是目前检测算子研究的热点；同时寻找新的更简单局部特征（如图像的饱和度等），开发新的特征检测算子以及检测算子的硬件实现也是值得深入研究的方向。
参考文献：
[1]FaugerasO,Robert L.What can two images tell us about the third one[C].Proceedings of the Europe Conference on Computer Vision,1994
[2]Crowley J,Parker,A.A representation for shape based on peaks and ridges in the difference of low pass transform.IEEE Transactions on Pattern Analysis and Machine Intelligence,1984,6(2):156–170
[3]Lowe D.G.Object recognition from local scale-invariant features.In Proceedings of the 7th International Conference on Computer Vision,1999,1150–1157
[4]Lowe D.G..Distinctive Image Features from Scale-Invariant Keypoints,Int’l J.Computer Vision,2004,60(2):91-110
[5]Krystian Mikolajczyk,Cordelia Schmid.Scale&Affine Invariant Interest Point Detectors.International Journal of Computer Vision.2004,60(1):63-86
[6]Kadir,T.,Brady,M..Scale,saliency and image description.International Journal of Computer Vision,2001,M.45(2),P:83–105
[7]Lindeberg T:Feature detection with automatic scale selection.IJCV30(2),1998,79-116