论文部分内容阅读
摘 要：超分辨率（Super-Resolution，SR）重构技术是指利用一帧或多帧拥有部分细节的低分辨率（Low-Resolution，LR）图像重构出一幅可以提供更多细节信息的高分辨率（High-Resolution，HR）图像。本文通过频域、空域和学习这三个层面的超分辨率重构算法，对图像超分辨率的方法进行了分类对比，重点论述了各算法的优缺点及应用，并展望超分辨率图像重构技术的发展趋势。
关键词：图像超分辨率；频域；空域；学习
中图分类号：TP391
由于超分辨率重构技术是采用软件方法来提高图像的空间分辨率，而不需要更换原有的成像设备，使它成为一种有效而又经济的提高图像分辨率的方法。自开始提出到现在，已具有广泛的应用领域，如在计算机视觉、卫星图像中军事目标识别、视频监控系统、生物医学图像处理和视频压缩、民用安防等领域中具有重要的实际应用价值，近年来得到许多学者广泛的关注。
国外超分辨率图像重构研究较为活跃，国内对于超分辨率重建构的研究近年来也逐步引起重视，但主要是对国外超分辨率方法的改进及部分领域的应用，如汪雪林等[1]提出了基于小波域局部高斯模型的图像超分辨率算法；姚振杰等提出一种用于车牌识别的图像超分辨算法[2]等。
1 图像超分辨率重构算法分类
目前，单帧图像的超分辨率研究较少，而多帧图像比单帧图像所含的可利用的信息量大，已经成为目前研究的热点。其重构按实现的具体方法主要可分为频域算法和空域算法
1.1 基于频域的超分辨率重构算法
频域方法是在变换域中解决图像的插值问题，1984年，Tsai和Huang[3]开创性地提出一种基于Fourier变换域的对多帧卫星图像进行超分辨率重构的算法，从本质上解决了高分辨率图像重构无唯一解的问题。Kaltenbacher和Hardie[4]在Tsai的基础上提出一种估计图像整体平移参数的计算方法，在计算整体平移方面的性能比Tsai的方法更为有效。郝鹏威[5]给出了多次欠采样图像在频域混叠的更一般的公式，这一改进具有很强的抗噪能力和收敛性。随后还出现了许多改进算法，但都是基于整体平移运动模型。
频域算法受限于傅立叶变换理论，难以包含先验信息，图像的运动只能是整体平移运动，而且观测模型也不能随意改变，因此频域算法的发展受到了极大地限制。
1.2 基于空域的超分辨率重构算法
空域算法是对影响低分辨率图像成像效果的空域因素（如光学模糊、运动模糊）进行数学建模。空域算法可以包含更为灵活的观测模型和先验知识，更接近于实际应用领域。
（1）基于插值的方法——非均匀采样插值算法
非均匀采样值算法首先是对多帧低分辨率图像进行运动估计，即图像配准。将配准后的低分辨率像素投放到高分辨率栅格上，低分辨率像素在高分辨率网格中是非均匀分布的无序采样值，对这些采样值进行内插，即可得到高分辨率像素值。
非均匀采样值算法优点是算法快速易行，基本可以满足实时要求，但因为不能引入更多有用的高频信息，没有充分的使用先验知识，降质模型有限，所以无法重构出好的高分辨率图像。
（2）迭代反投影（IBP）算法
Irani和Peleg[6]提出了迭代反向投影法。其基本思想是先估计出一帧高分辨率图像，并将此高分辨率图像代入到观测模型；然后经过一系列的降质过程生成低分辨率图像，计算出与输入的低分辨率图像之间的差值并投影到高分辨率图像上，同时根据差值不断更新当前输出图像；再经过多次迭代，误差得到收敛，便可得到相应的高分辨率图像。
IBP算法运算量小，收敛速度较快，不足点是重构结果不唯一，且与凸集投影（POCS）算法比较，难以包含先验知识，实际应用较少。
（3）集合论的方法——凸集投影（POCS）算法
POCS算法最早是Stark[7]从集合投影理论出发提出的超分辨率重构算法，它利用有效的空间观测模型，将成像系统每个先验信息视为对图像重构的结果的一个约束条件，加入这些先验信息，在这些信息的交集内得到一个可行解。POCS算法也是一个迭代过程，只需给定高分辨率图像空间上的任意一点，通过把初始估计迭代投影到每个凸集 ，最终得到一个能够满足所有集合的解，即重构的高分辨率图像。早在90年代，国外就将POCS算法应用到生物医学图像和视频序列的超分辨率重构模型，并取得了较好的重构效果。
POCS算法可以很便利的加入先验知识，具有较好的图像边缘及细节保持能力，应用较广泛，但是它的解不唯一，收敛速度较慢且不稳定。
（4）统计学方法——最大后验概率（MAP）算法
统计学算法是把高分辨率图像和低分率图像之间的运动都看成是随机的变量。MAP算法中的先验模型非常重要，大多数MAP算法的差别就在于先验模型的选择。如高斯马尔科夫随机场（GMRF）有很多优点，但是用这种方法进行超分辨率重构得到的结果过度平滑，边缘得不到锐化；胡贝尔随机场（HMRF）可以分段平滑，能很好地保持边缘等。基于这些原理，Jin Chen[8]提出了基于GMRF的视频超分辨率重构；Hefnawy等[9]将正则化的MAP算法应用到核磁共振成像上。
最大后验概率算法优势在于可以在解中直接加入先验约束、能确保解的唯一性、降噪能力强和收敛稳定性高等，但是收敛慢、运算量大。另外，MAP算法的边缘保持能力不如POCS算法好，所获得的高分辨率图像上的细节容易被平滑掉。
（5）混合MAP/POCS算法
容易发现，POCS算法与MAP算法可以弥补彼此的缺点，继而出现了MAP/POCS算法。其算法本质是在MAP算法的迭代优化过程中加入一些先验知识，这样可以把全部先验知识有效地结合起来，并且确保唯一解。理论证明，采用梯度下降最优化算法能保证收敛到全局最优解。混合POCS/MAP算法在视频压缩方面应用较多。 混合MAP/POCS算法结合了各自算法的优点，充分利用先验信息，收敛性和稳定性也比较好，是目前重构算法较为理想的算法。
（6）自适应滤波算法
Elad和Feuer[10]把自适应滤波理论用于超分辨率重构。他们[11]还把R-SD和R-LMS算法近似地看作是Kat-rnan滤波，对两者的性能进行了分析，得出两种算法的实用性。自适应滤波方法的缺点是最优滤波方法不能包含先验知识，而且该方法不能包含非线性先验知识。
（7）其他算法
除上面介绍的较为成熟的算法外，还有一些算法在近几年也备受关注。如将规整化算法改进应用到了彩色图象，取得了很好的重构效果[12]；小波算法也应用到了视频超分辨率[13，14]、医学核磁共振成像[15]等领域；基于偏微分方程的超分辨率重构算法[16，17]等也在一些领域得到很好地应用。
1.3 基于学习的重构算法
基于学习的超分辨算法目的在于从低频和中频分量信息中恢复高频信息。与前面频域和空域算法相比，基于学习的重构算法更注重对图像的内容和结构的把握，它充分利用与图像本身相关的先验知识，在不增加输入图像样本数量的情况下，提供更强的约束并产生新的高频细节，从而获得更好的重构效果。但是，基于学习的重构算法也有一定的局限性。这种算法所使用的样本图像对放大倍数都是固定的，在实际情况下能达到的放大倍数有限，且基于学习的重构算法的性能训练样本库有极大的依赖性，然而目前还没有相关理论指导样本的选择。
2 结束与展望
全文对超分辨率图像重构算法做了简单分类与比较，系统地分析了超分辨率图像重构算法。目前，超分辨率重构技术在理论和实际应用中都具有重大的意义，因而对超分辨率重构技术的要求越来越高。学者们将不断地迎接新的问题与挑战，如亚像素配准精确性、算法效率的提高、任意倍数的重构以及应用领域的扩展等，这些方面都是未来研究的重点和难点。
参考文献：
[1]汪雪林，文伟，彭思龙，基于小波域局部高斯模型的图像超分辨率[J].中国图象图形学报，2004.
[2]姚振杰，易卫东.一种用于车牌识别的超分辨率算法[J].中国科学院研究生院学报，2013.
[3]R.Y.Tsai and T.S.Huang.Multipleframe image restoration and registration.Computer Vision and Image Processing，1984：317-339.
[4]Irani M，Peleg S.Motion analysis for image enhancement.resolution，conclusion，and transparency[J].Journal of Visual Communication and Image Representation，1993，4（4）：324-336.
[5]郝鹏威，数字图像空间分辨率改善的方法研究[D].中国科学院遥感应用研究所博士学位论文，1997，9.
[6]Irani M，Peleg S.Improving resolution by image registration.GraphicalModels and Image Proc，1991，53（1）：231-239.
[7]Stark H，Oskoui P.High-resolution image recovery from image-plane arrays，Using convex projection[J].Journal of the Optical Society of America，1989，6（11）：1715-1726.2012，849-852
[8]Jin Chen，Nunez-Yanez J Achim，A.Video Super-Resolution Using Generalized Gaussian Markov Random Fields.IEEE Signal Processing Society，2012：63-66.
[9]AA Hefnawy.An efficient super-resolution approach for obtaining isotropic 3-D imaging using 2-D multi-slice MRI，Egyptian Informatics Journal，2013.
[10]Elad M，Feuer.Super-resolution restoration of an image Sequence：adaptive filtering appmach[J].IEEE Trans.Image Processing，1999，8（3）：387-395.
[11]Elad M.Feuer Super-resolution reconstruction of image sequences[J].IEEE Trans.Pattern Analysis&Machine Intelligence，1999，21（9）：817-834.
[12]S.Farsiu，M.Elad，P.Milanfar.Multiframe Demosicing and Super-resolution of color Image.IEEE Trans.Signal Processing，2006，15：141-159.
[13]Chang-Ming Lee，Chien-Jung Lee，Chia-Yung Hsieh，Wen-Nung Lie.Super-resolution reconstruction of video sequences based on wavelet-domain spatial and temporal processing.IEEE，Pattern Recognition （ICPR），2012：194-197. [14]S.Izadpanahi，H.Demirel.Motion based video super resolution using edge directed interpolation and complex wavelet transform.Signal Processing，2013.
[15]Islam，R.Lambert，A.J.Pickering，M.R.Super resolution OF 3D MRI images using a Gaussian scale mixture model constraint.IEEE，Acoustics，Speech and Signal Processing，2012：849-852.
[16]Shuying Huang，Yong Yang，Guoyu Wang.An Improved PDE Based Super-Resolution Reconstruction Algorithm.Procedia Engineering，2012，29：2838-2842.
[17]Niang O，Thioune A，Gueirea M.C.E，Delechelle E.Partial Differential Equation-Based Approach for Empirical Mode Decomposition：Application on Image Analsis.IEEE Trans，Image Processing，2012，21：3391-4001.
作者简介：孙小霞（1987-），女，安徽芜湖人，研究生，主要研究方向为：数字图像处理；王彦钦，男，博士，研究方向：细微加工，为纳光学和表面等离子体等；罗先刚，男，博士生导师，研究方向：细微加工，为纳光学和表面等离子体等；汪慧兰（1978-），女（通讯作者），副教授，研究方向：数字图像处理。
作者单位：安徽师范大学物理与电子信息学院，安徽芜湖 241000；中科院光电技术研究所细微加工光学技术国家重点实验室，成都 610209
基金项目：安徽省高校省级科学研究项目（KJ20112135）；中科院光电技术研究所微细加工光学技术国家重点实验室开放基金资助。
关键词：图像超分辨率；频域；空域；学习
中图分类号：TP391
由于超分辨率重构技术是采用软件方法来提高图像的空间分辨率，而不需要更换原有的成像设备，使它成为一种有效而又经济的提高图像分辨率的方法。自开始提出到现在，已具有广泛的应用领域，如在计算机视觉、卫星图像中军事目标识别、视频监控系统、生物医学图像处理和视频压缩、民用安防等领域中具有重要的实际应用价值，近年来得到许多学者广泛的关注。
国外超分辨率图像重构研究较为活跃，国内对于超分辨率重建构的研究近年来也逐步引起重视，但主要是对国外超分辨率方法的改进及部分领域的应用，如汪雪林等[1]提出了基于小波域局部高斯模型的图像超分辨率算法；姚振杰等提出一种用于车牌识别的图像超分辨算法[2]等。
1 图像超分辨率重构算法分类
目前，单帧图像的超分辨率研究较少，而多帧图像比单帧图像所含的可利用的信息量大，已经成为目前研究的热点。其重构按实现的具体方法主要可分为频域算法和空域算法
1.1 基于频域的超分辨率重构算法
频域方法是在变换域中解决图像的插值问题，1984年，Tsai和Huang[3]开创性地提出一种基于Fourier变换域的对多帧卫星图像进行超分辨率重构的算法，从本质上解决了高分辨率图像重构无唯一解的问题。Kaltenbacher和Hardie[4]在Tsai的基础上提出一种估计图像整体平移参数的计算方法，在计算整体平移方面的性能比Tsai的方法更为有效。郝鹏威[5]给出了多次欠采样图像在频域混叠的更一般的公式，这一改进具有很强的抗噪能力和收敛性。随后还出现了许多改进算法，但都是基于整体平移运动模型。
频域算法受限于傅立叶变换理论，难以包含先验信息，图像的运动只能是整体平移运动，而且观测模型也不能随意改变，因此频域算法的发展受到了极大地限制。
1.2 基于空域的超分辨率重构算法
空域算法是对影响低分辨率图像成像效果的空域因素（如光学模糊、运动模糊）进行数学建模。空域算法可以包含更为灵活的观测模型和先验知识，更接近于实际应用领域。
（1）基于插值的方法——非均匀采样插值算法
非均匀采样值算法首先是对多帧低分辨率图像进行运动估计，即图像配准。将配准后的低分辨率像素投放到高分辨率栅格上，低分辨率像素在高分辨率网格中是非均匀分布的无序采样值，对这些采样值进行内插，即可得到高分辨率像素值。
非均匀采样值算法优点是算法快速易行，基本可以满足实时要求，但因为不能引入更多有用的高频信息，没有充分的使用先验知识，降质模型有限，所以无法重构出好的高分辨率图像。
（2）迭代反投影（IBP）算法
Irani和Peleg[6]提出了迭代反向投影法。其基本思想是先估计出一帧高分辨率图像，并将此高分辨率图像代入到观测模型；然后经过一系列的降质过程生成低分辨率图像，计算出与输入的低分辨率图像之间的差值并投影到高分辨率图像上，同时根据差值不断更新当前输出图像；再经过多次迭代，误差得到收敛，便可得到相应的高分辨率图像。
IBP算法运算量小，收敛速度较快，不足点是重构结果不唯一，且与凸集投影（POCS）算法比较，难以包含先验知识，实际应用较少。
（3）集合论的方法——凸集投影（POCS）算法
POCS算法最早是Stark[7]从集合投影理论出发提出的超分辨率重构算法，它利用有效的空间观测模型，将成像系统每个先验信息视为对图像重构的结果的一个约束条件，加入这些先验信息，在这些信息的交集内得到一个可行解。POCS算法也是一个迭代过程，只需给定高分辨率图像空间上的任意一点，通过把初始估计迭代投影到每个凸集 ，最终得到一个能够满足所有集合的解，即重构的高分辨率图像。早在90年代，国外就将POCS算法应用到生物医学图像和视频序列的超分辨率重构模型，并取得了较好的重构效果。
POCS算法可以很便利的加入先验知识，具有较好的图像边缘及细节保持能力，应用较广泛，但是它的解不唯一，收敛速度较慢且不稳定。
（4）统计学方法——最大后验概率（MAP）算法
统计学算法是把高分辨率图像和低分率图像之间的运动都看成是随机的变量。MAP算法中的先验模型非常重要，大多数MAP算法的差别就在于先验模型的选择。如高斯马尔科夫随机场（GMRF）有很多优点，但是用这种方法进行超分辨率重构得到的结果过度平滑，边缘得不到锐化；胡贝尔随机场（HMRF）可以分段平滑，能很好地保持边缘等。基于这些原理，Jin Chen[8]提出了基于GMRF的视频超分辨率重构；Hefnawy等[9]将正则化的MAP算法应用到核磁共振成像上。
最大后验概率算法优势在于可以在解中直接加入先验约束、能确保解的唯一性、降噪能力强和收敛稳定性高等，但是收敛慢、运算量大。另外，MAP算法的边缘保持能力不如POCS算法好，所获得的高分辨率图像上的细节容易被平滑掉。
（5）混合MAP/POCS算法
容易发现，POCS算法与MAP算法可以弥补彼此的缺点，继而出现了MAP/POCS算法。其算法本质是在MAP算法的迭代优化过程中加入一些先验知识，这样可以把全部先验知识有效地结合起来，并且确保唯一解。理论证明，采用梯度下降最优化算法能保证收敛到全局最优解。混合POCS/MAP算法在视频压缩方面应用较多。 混合MAP/POCS算法结合了各自算法的优点，充分利用先验信息，收敛性和稳定性也比较好，是目前重构算法较为理想的算法。
（6）自适应滤波算法
Elad和Feuer[10]把自适应滤波理论用于超分辨率重构。他们[11]还把R-SD和R-LMS算法近似地看作是Kat-rnan滤波，对两者的性能进行了分析，得出两种算法的实用性。自适应滤波方法的缺点是最优滤波方法不能包含先验知识，而且该方法不能包含非线性先验知识。
（7）其他算法
除上面介绍的较为成熟的算法外，还有一些算法在近几年也备受关注。如将规整化算法改进应用到了彩色图象，取得了很好的重构效果[12]；小波算法也应用到了视频超分辨率[13，14]、医学核磁共振成像[15]等领域；基于偏微分方程的超分辨率重构算法[16，17]等也在一些领域得到很好地应用。
1.3 基于学习的重构算法
基于学习的超分辨算法目的在于从低频和中频分量信息中恢复高频信息。与前面频域和空域算法相比，基于学习的重构算法更注重对图像的内容和结构的把握，它充分利用与图像本身相关的先验知识，在不增加输入图像样本数量的情况下，提供更强的约束并产生新的高频细节，从而获得更好的重构效果。但是，基于学习的重构算法也有一定的局限性。这种算法所使用的样本图像对放大倍数都是固定的，在实际情况下能达到的放大倍数有限，且基于学习的重构算法的性能训练样本库有极大的依赖性，然而目前还没有相关理论指导样本的选择。
2 结束与展望
全文对超分辨率图像重构算法做了简单分类与比较，系统地分析了超分辨率图像重构算法。目前，超分辨率重构技术在理论和实际应用中都具有重大的意义，因而对超分辨率重构技术的要求越来越高。学者们将不断地迎接新的问题与挑战，如亚像素配准精确性、算法效率的提高、任意倍数的重构以及应用领域的扩展等，这些方面都是未来研究的重点和难点。
参考文献：
[1]汪雪林，文伟，彭思龙，基于小波域局部高斯模型的图像超分辨率[J].中国图象图形学报，2004.
[2]姚振杰，易卫东.一种用于车牌识别的超分辨率算法[J].中国科学院研究生院学报，2013.
[3]R.Y.Tsai and T.S.Huang.Multipleframe image restoration and registration.Computer Vision and Image Processing，1984：317-339.
[4]Irani M，Peleg S.Motion analysis for image enhancement.resolution，conclusion，and transparency[J].Journal of Visual Communication and Image Representation，1993，4（4）：324-336.
[5]郝鹏威，数字图像空间分辨率改善的方法研究[D].中国科学院遥感应用研究所博士学位论文，1997，9.
[6]Irani M，Peleg S.Improving resolution by image registration.GraphicalModels and Image Proc，1991，53（1）：231-239.
[7]Stark H，Oskoui P.High-resolution image recovery from image-plane arrays，Using convex projection[J].Journal of the Optical Society of America，1989，6（11）：1715-1726.2012，849-852
[8]Jin Chen，Nunez-Yanez J Achim，A.Video Super-Resolution Using Generalized Gaussian Markov Random Fields.IEEE Signal Processing Society，2012：63-66.
[9]AA Hefnawy.An efficient super-resolution approach for obtaining isotropic 3-D imaging using 2-D multi-slice MRI，Egyptian Informatics Journal，2013.
[10]Elad M，Feuer.Super-resolution restoration of an image Sequence：adaptive filtering appmach[J].IEEE Trans.Image Processing，1999，8（3）：387-395.
[11]Elad M.Feuer Super-resolution reconstruction of image sequences[J].IEEE Trans.Pattern Analysis&Machine Intelligence，1999，21（9）：817-834.
[12]S.Farsiu，M.Elad，P.Milanfar.Multiframe Demosicing and Super-resolution of color Image.IEEE Trans.Signal Processing，2006，15：141-159.
[13]Chang-Ming Lee，Chien-Jung Lee，Chia-Yung Hsieh，Wen-Nung Lie.Super-resolution reconstruction of video sequences based on wavelet-domain spatial and temporal processing.IEEE，Pattern Recognition （ICPR），2012：194-197. [14]S.Izadpanahi，H.Demirel.Motion based video super resolution using edge directed interpolation and complex wavelet transform.Signal Processing，2013.
[15]Islam，R.Lambert，A.J.Pickering，M.R.Super resolution OF 3D MRI images using a Gaussian scale mixture model constraint.IEEE，Acoustics，Speech and Signal Processing，2012：849-852.
[16]Shuying Huang，Yong Yang，Guoyu Wang.An Improved PDE Based Super-Resolution Reconstruction Algorithm.Procedia Engineering，2012，29：2838-2842.
[17]Niang O，Thioune A，Gueirea M.C.E，Delechelle E.Partial Differential Equation-Based Approach for Empirical Mode Decomposition：Application on Image Analsis.IEEE Trans，Image Processing，2012，21：3391-4001.
作者简介：孙小霞（1987-），女，安徽芜湖人，研究生，主要研究方向为：数字图像处理；王彦钦，男，博士，研究方向：细微加工，为纳光学和表面等离子体等；罗先刚，男，博士生导师，研究方向：细微加工，为纳光学和表面等离子体等；汪慧兰（1978-），女（通讯作者），副教授，研究方向：数字图像处理。
作者单位：安徽师范大学物理与电子信息学院，安徽芜湖 241000；中科院光电技术研究所细微加工光学技术国家重点实验室，成都 610209
基金项目：安徽省高校省级科学研究项目（KJ20112135）；中科院光电技术研究所微细加工光学技术国家重点实验室开放基金资助。