论文部分内容阅读
【摘 要】图像配准广泛应用于图像融合、目标跟踪、遥感数据分析及医学图像组织病变分析等领域，在研究者的探索下图像配准技术不断推陈出新。但是，图像配准技术往往局限于一类特殊图像的处理，缺少通用的技术，介于该原因，在简要介绍配准的一般流程后，以特征的分类作为出发点探讨现存的基于各种特征的图像配准方法，分析各自的优缺点及适用范围，为基于特征的图像配准方法选取提供一些依据。此外，在现有的技术上对基于特征的图像配准进行总结和展望，为相关领域研究提供一定的指导意义。
【关键词】图像配准；配准流程；特征点
引言
图像配准技术是目前图像处理领域的一重要研究课题，被广泛应用于医学图像处理、遥感图像处理、目标识别、计算机视觉等领域。其目的是寻找参考图像与待匹配图像达到吻合时的对应关系，而这些参考图像与待匹配图像可能来自不同传感器、不同时间、不同视角甚至是不同成像设备。对于图像配准，目前尚未存在普遍适用的技术。在处理过程中，需要根据图像特征选择合适的配准方法，因此有必要认识和了解图像特征，本文拟对目前广泛使用的基于图像特征的配准方法做一个分析与总结，并对其未来发展进行一定探讨。
一、基于图像特征配准方法的定义
图像配准的实质是期望在同一视觉系统中寻找到一个最优变换使得在不同环境条件下获得的参考图像与待配准图像的吻合程度达到最高，对应特征点一一映射，也就是所谓的对齐的空间位置达到最佳。这里以及分别表示平面坐标系中点在参考图像和待配准图形中的灰度值，那么配准可以表示为：其中，f表示映射函数。
基于图像特征的配准方法是提取参考图像与待配准图像中的不变特征，例如边缘点、闭区域中心等信息作为图像匹配的参考信息。该类方法仅需提取少量具有显著特征的图像信息，大大减少了用于配准的图像信息量，由于计算量减少，该类方法大幅提高了匹配速率。此外，因配准仅需利用显著特征点，那么图像在光照变换、对比度变换、缩放变换、仿射变换、投影变换等作用下都具有良好的鲁棒性。当然，少量信息利用在提高效率的同时也带来了负面影响，使其对特征提取与特征匹配的错误更加敏感，若要有效改善这个状况就需要可靠的特征提取和鲁棒特征的一致性。
二、配准的基本流程
图像配准大致可分为四个基本步骤，分别是特征提取、特征匹配、空间变换及重采样。
在图像配准中，特征提取大致分为两类，分别是统计特征和空间特征。统计特征直接利用图像的灰度信息，匹配点周围的邻点灰度值均被考虑参与计算。所以基于统计特征的配准精度和鲁棒性较好，但计算量较大，运算速度慢。空间特征提取是指在图像中提取突出并共有的细小表象特征，并要求其具有较强的抗干扰能力，能够在缩放、旋转、平移、噪声、天气及光线等变化的影响下保持一定不变性。空间特征种类繁多，包括角点、线角点、边界、轮廓、显著区域等，特征选取的正确与否是后期图像能否准确配准的最关键的影响因素。
特征提取是图像配准的第一步，目前尚未存在所有图像可通用的特征提取算法，因此，在特征提取过程中，需要为不同图像选取合适的算法来提取特征，这也是必须认识及分辨各种特征的原因。第3部分将就常用特征提取方法进行讨论。
特征匹配是使用匹配策略将在特征提取阶段得到的特征点进行匹配，建立参考图像与待配准图像间各特征点的对应关系，获得同名点。对于如何寻找同名点的问题，目前常用的有松弛法、相对距离直方图聚集束检测法、Hausdorff距离及相关方法等等。选择怎样的匹配策略非常重要，其将直接影响最终的同名点数量和配准精度。
空间变换用于实现待配准图像到参考图像的映射。配准图像A与B，即是寻找一个映射T：，满足图像A上特征点X到图像B上特征点Y的一一映射关系。常见的线性变换有刚性变换、投影变换及仿射变换，非线性变换主要是弹性变换。在刚性变换中，空间变换的目的是寻找合适的变换矩阵；而在其他诸如投影、仿射、弹性等非刚性变换中，关键是确定变换模型和参数。
重采样是在空间变换对图像进行转换后，对未位于整数行或列位置上的灰度值，通过选取适合的内插方法计算获得，并用值填充图像便得到配准后图像。常用重采样方法有：最近邻点插值法、双线性插值法、部分体积插值法和薄板样条插值法。整个流程中，如何认识和辨别图像特征，以及选择适当的配准方法进行图像配准是关键，下面对其详细阐述。
三、基于图像特征配准的方法
基于图像特征配准的方法往往是针对某一类具体问题的解决而设计的，缺少通用的算法。基于此，图像配准需要非常了解特征的分类以及解决该类问题宜采用的方法。基于图像特征配准的方法大致可分为六类：点特征、直线特征、轮廓特征、闭合区域特征、矩不变特征和混合特征的图像配准。
（一）基于点特征的图像配准
点特征是图像配准中较为常用的特征之一，Harris等于1988年提出了Harris角点检测算法，其利用自相关函数估计图像的相似性，将自相关函数的一阶曲率计算作为特征值，而以两个方向特征值的大小来区分边缘、平面与角点，其中两个特征值都大的被认为是角点。Lowe于1999年提出了SIFT算法，并于2004年给予改进和完善，该算法使用了高斯金字塔和尺度空间，有较广泛的适用性及鲁棒性。
基于点特征的图像配准方法适用于角点、高曲率点以及断点等点特征明显的图像，对灰度值、梯度变化较小的图像以及像圆这样轮廓光滑曲率低的图像难以提取到足够量的有用特征点，而当图像中含有大量噪音时，特征 提取时易把噪音点误认为特征点，导致误匹配，故在这几种情况下进行基于点特征的配准效果不理想。
（二）基于直线特征的图像配准
基于直线特征的图像配准，顾名思义，这是一种从参考图像及待配准图像中提取线信息作为依据以完成配准的一种方法。基于线特征目前较常用的方法是Hough变换。Hough变换是一种典型的基于变换域提取直线的方法，它可以将原始图像中直线上点的坐标变换到过点的直线系数域中，这样在原始坐标系中对直线的检测问题就相应转化为在系数域中累积计数的问题。其巧妙地利用了共线和直线相交的问题，并具有受直线中的间隙和噪声影响较小的特点。 分析以上方法可发现：使用直线特征进行配准的图像中通常包含如道路，建筑，海岸线等易于区分的直线段信息。但此类方法的缺点在于对于大量重复出现的相似直线段显得束手无策。
（三）基于轮廓特征的图像配准
近年来，图像分割与边缘检测等技术日趋成熟，为轮廓特征的提取带来了方便。目前用于图像配准的图像分割及边缘检测技术颇多，如LOG算子、Sobel边缘提取算子、Canny边缘检测算子，区域生长、分水岭等方法。基于轮廓特征的图像配准适用于目标突出，背景单调，轮廓结构明显的图像配准，如：MRI图像（核磁共振成像图像），CT图像（计算机断层显像图像）等。基于轮廓特征进行图像的配准弱点同基于直线特征的图像配准相似，使用于拥有大量相似轮廓的图像易导致错误匹配。
（四）基于闭合区域特征的图像配准
区域特征是指具有高对比度的闭合区域的投影，一般湖泊、阴影、森林等图像的区域特征明显，利用基于闭合区域特征的方法能取得理想效果。闭合区域特征的特征点一般先通过阀值分割，然后利用形态学运算排除干扰，最后对闭合区域分别求中心或质心获得。基于闭合区域特征的图像配准方法最早由Goshiasby等人引入到图像配准领域，他们使用分割区域的方法来提取具有闭合边界的区域，然后以区域重心作为控制点来完成图像配准。该方法需要足够多的边界闭合并独立的区域，因此，Goshiasby等使用了迭代阈值方法进行图像分割，获得大量的独立闭合子区域，再以各子区域的重心作为控制点。最后用直方图聚集束法建立两幅图像的控制点之间的关联关系，构造配准变换。
（五）基于矩不变量特征的图像配准
在实际生活中，参考图像与待匹配图像之间在包含平移、旋转、缩放等差异外，通常还存在因视角变换、光照及噪声等导致的差异，这些差异将直接影响配准的准确性，增加配准的难度[26]。由此可见，对图像中不变量特征的提取与构造成为了这类情况中目标识别的关键技术，而基于矩不变量特征的图像配准能较好解决这一类复杂问题。
不变矩首先由Wong等引入到图像配准领域实现了场景匹配。随后Goshtasby等用不变矩实现了模板匹配。Flusser等则利用4个仿射不变矩来实现SAR图像配准。然而当图像中存在多个具有相同或相似形状的特征区域时，不变矩的应用易导致配准失败。Flusser等针对以上问题，给出了一种Matching likelihood coefficient方法，该方法能在一些情况下增强算法的鲁棒性。矩不变量特征同直线特征、轮廓特征及闭合区域特征类似，都是属于图像的内部结构特征，因此，它们都难以应对弹性变换。
（六）比较与总结
图像配准的方法层出不穷，但是没有哪一种配准策略能很好的解决所有的配准问题。因此在进行图像配准操作时需要根据不同的配准图像进行相应的处理，这就是必须认识和利用图像的自身特征，并根据这些特征给予相应措施来完成配准的原因。
应用中需要充分利用图像的显著特征，采用合适的方法提取特征，特征提取是图像配准中最关键的一步，特征提取的质量和数量将直接影响配准效果。
四、展望
基于特征的图像配准方法是近年来研究的热点，在研究者的关注与重视中，各种新颖的算法不断涌现。基于特征的图像配准的方法具有较强的灵活性，都有各自的优缺点和适用范围，因此，在大家致力于算法创新外，还应考虑已有算法的集成。利用现存算法的优点进行合理集合，将使算法的应用层面更广。此外，在追求高质量配准的同时，配准的效率及鲁棒性也不容忽视，可适当替换高质量配准中的复杂步骤，在能保证配准质量的前提下提高配准效率，增强配准实时性。
图像配准这个分支本身就涉及很多领域，基于特征的图像配准利用学科交叉进行创新和改进也是一个发展趋势。目前已有不少研究者将模式识别、计算机视觉、人工智能等相关内容应用到了该领域中，随着时间的推移将会产生更多的结合和应用。总之，基于特征的图像配准具有良好的应用和发展前景。
参考文献：
[1] BROWN L G. A survey of image registration techniques[J]. ACM Computing Surveys （CSUR）， 1992， 24（4）： 325-376.
[2] 倪国强， 刘琼. 多源图像配准技术分析与展望[J]. 光电工程， 2004， 31（9）： 1-6.
[3] 金海丁， 周孝宽. 数字图像自适应插值法[J]. 激光与红外， 2006， 36（9）： 907-910.
[4] 彭文. 基于特征的医学图像配准中若干关键技术的研究[D]. 浙江大学博士学位论文， 2007.
[5] 甘进， 王晓丹， 赵杰， 等. 基于直线特征的图像配准算法[J]. 计算机工程与应用， 2010， 46（011）： 193-195.
[6] Gonzalez R C， Woods R E， Eddins S L. 冈萨雷斯数字图像处理 （MATLAB 版）[J]. 2004.
[7] 李弼程， 彭天强， 彭波. 智能图像处理技术[M]. 电子工业出版社， 2004.
[8] 韦春荣， 张孝飞， 陈洪波， 等. 基于轮廓提取的医学图像配准方法[J]. 广西师范大学学报 （自然科学版）， 2003， 21（2）： 33-36.
[9] 王瑞瑞， 马建文， 陈雪. 多源遥感影像自动配准技术的研究进展[J]. 遥感信息， 2011， 3： 121-127.
作者简介：陈华（1964-），博士，主要研究方向：复杂系统，图像处理
【关键词】图像配准；配准流程；特征点
引言
图像配准技术是目前图像处理领域的一重要研究课题，被广泛应用于医学图像处理、遥感图像处理、目标识别、计算机视觉等领域。其目的是寻找参考图像与待匹配图像达到吻合时的对应关系，而这些参考图像与待匹配图像可能来自不同传感器、不同时间、不同视角甚至是不同成像设备。对于图像配准，目前尚未存在普遍适用的技术。在处理过程中，需要根据图像特征选择合适的配准方法，因此有必要认识和了解图像特征，本文拟对目前广泛使用的基于图像特征的配准方法做一个分析与总结，并对其未来发展进行一定探讨。
一、基于图像特征配准方法的定义
图像配准的实质是期望在同一视觉系统中寻找到一个最优变换使得在不同环境条件下获得的参考图像与待配准图像的吻合程度达到最高，对应特征点一一映射，也就是所谓的对齐的空间位置达到最佳。这里以及分别表示平面坐标系中点在参考图像和待配准图形中的灰度值，那么配准可以表示为：其中，f表示映射函数。
基于图像特征的配准方法是提取参考图像与待配准图像中的不变特征，例如边缘点、闭区域中心等信息作为图像匹配的参考信息。该类方法仅需提取少量具有显著特征的图像信息，大大减少了用于配准的图像信息量，由于计算量减少，该类方法大幅提高了匹配速率。此外，因配准仅需利用显著特征点，那么图像在光照变换、对比度变换、缩放变换、仿射变换、投影变换等作用下都具有良好的鲁棒性。当然，少量信息利用在提高效率的同时也带来了负面影响，使其对特征提取与特征匹配的错误更加敏感，若要有效改善这个状况就需要可靠的特征提取和鲁棒特征的一致性。
二、配准的基本流程
图像配准大致可分为四个基本步骤，分别是特征提取、特征匹配、空间变换及重采样。
在图像配准中，特征提取大致分为两类，分别是统计特征和空间特征。统计特征直接利用图像的灰度信息，匹配点周围的邻点灰度值均被考虑参与计算。所以基于统计特征的配准精度和鲁棒性较好，但计算量较大，运算速度慢。空间特征提取是指在图像中提取突出并共有的细小表象特征，并要求其具有较强的抗干扰能力，能够在缩放、旋转、平移、噪声、天气及光线等变化的影响下保持一定不变性。空间特征种类繁多，包括角点、线角点、边界、轮廓、显著区域等，特征选取的正确与否是后期图像能否准确配准的最关键的影响因素。
特征提取是图像配准的第一步，目前尚未存在所有图像可通用的特征提取算法，因此，在特征提取过程中，需要为不同图像选取合适的算法来提取特征，这也是必须认识及分辨各种特征的原因。第3部分将就常用特征提取方法进行讨论。
特征匹配是使用匹配策略将在特征提取阶段得到的特征点进行匹配，建立参考图像与待配准图像间各特征点的对应关系，获得同名点。对于如何寻找同名点的问题，目前常用的有松弛法、相对距离直方图聚集束检测法、Hausdorff距离及相关方法等等。选择怎样的匹配策略非常重要，其将直接影响最终的同名点数量和配准精度。
空间变换用于实现待配准图像到参考图像的映射。配准图像A与B，即是寻找一个映射T：，满足图像A上特征点X到图像B上特征点Y的一一映射关系。常见的线性变换有刚性变换、投影变换及仿射变换，非线性变换主要是弹性变换。在刚性变换中，空间变换的目的是寻找合适的变换矩阵；而在其他诸如投影、仿射、弹性等非刚性变换中，关键是确定变换模型和参数。
重采样是在空间变换对图像进行转换后，对未位于整数行或列位置上的灰度值，通过选取适合的内插方法计算获得，并用值填充图像便得到配准后图像。常用重采样方法有：最近邻点插值法、双线性插值法、部分体积插值法和薄板样条插值法。整个流程中，如何认识和辨别图像特征，以及选择适当的配准方法进行图像配准是关键，下面对其详细阐述。
三、基于图像特征配准的方法
基于图像特征配准的方法往往是针对某一类具体问题的解决而设计的，缺少通用的算法。基于此，图像配准需要非常了解特征的分类以及解决该类问题宜采用的方法。基于图像特征配准的方法大致可分为六类：点特征、直线特征、轮廓特征、闭合区域特征、矩不变特征和混合特征的图像配准。
（一）基于点特征的图像配准
点特征是图像配准中较为常用的特征之一，Harris等于1988年提出了Harris角点检测算法，其利用自相关函数估计图像的相似性，将自相关函数的一阶曲率计算作为特征值，而以两个方向特征值的大小来区分边缘、平面与角点，其中两个特征值都大的被认为是角点。Lowe于1999年提出了SIFT算法，并于2004年给予改进和完善，该算法使用了高斯金字塔和尺度空间，有较广泛的适用性及鲁棒性。
基于点特征的图像配准方法适用于角点、高曲率点以及断点等点特征明显的图像，对灰度值、梯度变化较小的图像以及像圆这样轮廓光滑曲率低的图像难以提取到足够量的有用特征点，而当图像中含有大量噪音时，特征 提取时易把噪音点误认为特征点，导致误匹配，故在这几种情况下进行基于点特征的配准效果不理想。
（二）基于直线特征的图像配准
基于直线特征的图像配准，顾名思义，这是一种从参考图像及待配准图像中提取线信息作为依据以完成配准的一种方法。基于线特征目前较常用的方法是Hough变换。Hough变换是一种典型的基于变换域提取直线的方法，它可以将原始图像中直线上点的坐标变换到过点的直线系数域中，这样在原始坐标系中对直线的检测问题就相应转化为在系数域中累积计数的问题。其巧妙地利用了共线和直线相交的问题，并具有受直线中的间隙和噪声影响较小的特点。 分析以上方法可发现：使用直线特征进行配准的图像中通常包含如道路，建筑，海岸线等易于区分的直线段信息。但此类方法的缺点在于对于大量重复出现的相似直线段显得束手无策。
（三）基于轮廓特征的图像配准
近年来，图像分割与边缘检测等技术日趋成熟，为轮廓特征的提取带来了方便。目前用于图像配准的图像分割及边缘检测技术颇多，如LOG算子、Sobel边缘提取算子、Canny边缘检测算子，区域生长、分水岭等方法。基于轮廓特征的图像配准适用于目标突出，背景单调，轮廓结构明显的图像配准，如：MRI图像（核磁共振成像图像），CT图像（计算机断层显像图像）等。基于轮廓特征进行图像的配准弱点同基于直线特征的图像配准相似，使用于拥有大量相似轮廓的图像易导致错误匹配。
（四）基于闭合区域特征的图像配准
区域特征是指具有高对比度的闭合区域的投影，一般湖泊、阴影、森林等图像的区域特征明显，利用基于闭合区域特征的方法能取得理想效果。闭合区域特征的特征点一般先通过阀值分割，然后利用形态学运算排除干扰，最后对闭合区域分别求中心或质心获得。基于闭合区域特征的图像配准方法最早由Goshiasby等人引入到图像配准领域，他们使用分割区域的方法来提取具有闭合边界的区域，然后以区域重心作为控制点来完成图像配准。该方法需要足够多的边界闭合并独立的区域，因此，Goshiasby等使用了迭代阈值方法进行图像分割，获得大量的独立闭合子区域，再以各子区域的重心作为控制点。最后用直方图聚集束法建立两幅图像的控制点之间的关联关系，构造配准变换。
（五）基于矩不变量特征的图像配准
在实际生活中，参考图像与待匹配图像之间在包含平移、旋转、缩放等差异外，通常还存在因视角变换、光照及噪声等导致的差异，这些差异将直接影响配准的准确性，增加配准的难度[26]。由此可见，对图像中不变量特征的提取与构造成为了这类情况中目标识别的关键技术，而基于矩不变量特征的图像配准能较好解决这一类复杂问题。
不变矩首先由Wong等引入到图像配准领域实现了场景匹配。随后Goshtasby等用不变矩实现了模板匹配。Flusser等则利用4个仿射不变矩来实现SAR图像配准。然而当图像中存在多个具有相同或相似形状的特征区域时，不变矩的应用易导致配准失败。Flusser等针对以上问题，给出了一种Matching likelihood coefficient方法，该方法能在一些情况下增强算法的鲁棒性。矩不变量特征同直线特征、轮廓特征及闭合区域特征类似，都是属于图像的内部结构特征，因此，它们都难以应对弹性变换。
（六）比较与总结
图像配准的方法层出不穷，但是没有哪一种配准策略能很好的解决所有的配准问题。因此在进行图像配准操作时需要根据不同的配准图像进行相应的处理，这就是必须认识和利用图像的自身特征，并根据这些特征给予相应措施来完成配准的原因。
应用中需要充分利用图像的显著特征，采用合适的方法提取特征，特征提取是图像配准中最关键的一步，特征提取的质量和数量将直接影响配准效果。
四、展望
基于特征的图像配准方法是近年来研究的热点，在研究者的关注与重视中，各种新颖的算法不断涌现。基于特征的图像配准的方法具有较强的灵活性，都有各自的优缺点和适用范围，因此，在大家致力于算法创新外，还应考虑已有算法的集成。利用现存算法的优点进行合理集合，将使算法的应用层面更广。此外，在追求高质量配准的同时，配准的效率及鲁棒性也不容忽视，可适当替换高质量配准中的复杂步骤，在能保证配准质量的前提下提高配准效率，增强配准实时性。
图像配准这个分支本身就涉及很多领域，基于特征的图像配准利用学科交叉进行创新和改进也是一个发展趋势。目前已有不少研究者将模式识别、计算机视觉、人工智能等相关内容应用到了该领域中，随着时间的推移将会产生更多的结合和应用。总之，基于特征的图像配准具有良好的应用和发展前景。
参考文献：
[1] BROWN L G. A survey of image registration techniques[J]. ACM Computing Surveys （CSUR）， 1992， 24（4）： 325-376.
[2] 倪国强， 刘琼. 多源图像配准技术分析与展望[J]. 光电工程， 2004， 31（9）： 1-6.
[3] 金海丁， 周孝宽. 数字图像自适应插值法[J]. 激光与红外， 2006， 36（9）： 907-910.
[4] 彭文. 基于特征的医学图像配准中若干关键技术的研究[D]. 浙江大学博士学位论文， 2007.
[5] 甘进， 王晓丹， 赵杰， 等. 基于直线特征的图像配准算法[J]. 计算机工程与应用， 2010， 46（011）： 193-195.
[6] Gonzalez R C， Woods R E， Eddins S L. 冈萨雷斯数字图像处理 （MATLAB 版）[J]. 2004.
[7] 李弼程， 彭天强， 彭波. 智能图像处理技术[M]. 电子工业出版社， 2004.
[8] 韦春荣， 张孝飞， 陈洪波， 等. 基于轮廓提取的医学图像配准方法[J]. 广西师范大学学报 （自然科学版）， 2003， 21（2）： 33-36.
[9] 王瑞瑞， 马建文， 陈雪. 多源遥感影像自动配准技术的研究进展[J]. 遥感信息， 2011， 3： 121-127.
作者简介：陈华（1964-），博士，主要研究方向：复杂系统，图像处理