论文部分内容阅读
图像是一种人们普遍使用的媒体形式,是存储和传递视觉信息的重要方式。随着计算机的出现和数字技术的发展,数字图像也就成为图像应用的重要形式。对数字图像而言,图像的空间分辨率是衡量图像质量的一个标准,是图像细节分辨能力的一种度量。长期以来,用户总是希望得到更高分辨率的图像。然而,这样的愿望并不总能得到满足。其中的原因可能是成像器件的成本过高、使用环境不理想以及成像器件特性制约等等。另外,用户可能依然希望提高已有图像或者保存的视频资料的分辨率。因此,如何在现有的硬件水平下得到超过其最高分辨率的图像,或者提高现有图像或视频的分辨率,就成为迫切需要解决的问题。在这样的需求背景下,基于软件的图像超分辨率(super resolution, SR)重建技术应运而生,成为提高图像空间分辨率的另一个有效途径。本文将多帧图像超分辨率重建算法与单帧图像超分辨率重建算法相结合,提出了混合型图像超分辨率重建算法框架。首先通过融合低分辨率图像序列的信息,得到初始的高分辨率图像后,然后利用单帧图像超分辨率重建进一步提高输出图像的质量。在多帧超分辨率重建算法阶段,本文有如下研究成果:提出了分级、迭代的亚像素配准算法,实现低分辨率图像序列的高精度、高准确率的亚像素配准。通常的亚像素配准算法主要包括参考帧的放大(上采样)和随后的下采样。然而,当亚像素配准的精度要求较高时,参考帧的上采样率必须相应提高,这样就导致了参考帧放大时引入了较多的估计像素,从而导致配准错误。另外,即使单步完成的下采样后的参考图像与输入的低分辨率图像的相似性度量也可能不够精确,从而影响配准结果的准确性。本文提出的分级、迭代的亚像素配准算法,用分级的概念解决参考帧放大倍数较大时错误估计像素对配准结果的影响,用迭代的概念提高参考图像与输入低分辨率图像相似性度量的准确性。同时,本文对基于低分辨率图像序列融合的图像超分辨率算法进行了研究,针对已知图像像素在高分辨率网格内的随机排列导致通常卷积插值的方法不能使用的情况,提出了下列几种图像融合快速算法,具体包括:邻域搜寻最邻近插值算法(NSNI),原理直观,方法简单。该算法是基于这样的假设,即未知像素与最邻近的已知像素有最密切的关系。那么,未知像素的数值就可以通过搜索其周围邻域内的最邻近的已知像素而得到。固定距离搜寻最邻近插值算法(FDSNI),编程简便,实现容易。该算法根据离散化的网格距离,由近及远地搜索未知像素邻域内的最邻近已知像素而得到未知像素估计值的,提高了搜索效率,降低了搜索时间。邻域组合插值算法(NCI),有最快的运算速度。该算法直接考虑待插值像素,它的取值是其邻域内的所有已知像素的加权和,而加权系数反映出已知像素对未知值像素的影响程度。邻域扩展插值算法(NEI),具有运算速度和融合效果的最佳平衡。该算法直接考虑已知像素,把它的取值扩展到与其邻近的未知像素,从而确定未知像素的估计值,同时考虑像素间的距离以及邻域内其它已知像素的影响。双向线性插值算法(TDLI),有最好的融合效果。该算法假定待插值像素与邻近像素之间有线性关系,将整个图像的二维插值分解为水平方向和垂直方向上的两次一维插值,合并两个方向的插值作为最终结果。另一方面,本文在单帧图像超分辨率重建阶段的研究成果包括:提出了一种动态字典构建方法:包含普通图像的高低分辨率图像对的固定部分,以及包含来自输入低分辨图像序列的高低分辨率图像对的动态部分。通常典内的图像种类很多,以期涵盖所有可能的输入图像种类。但是输入图像的种类是难以预知的。动态字典由两部分组成:一个是固定部分,即事先建立的普通图像的高低分辨率图像对;另一个是动态部分,即由输入的低分辨率图像序列构建出的高低分辨率图像对。这样的字典构建方法,既包含固有图像的信息,又添加了输入图像的变化信息,有利于提高重建图像的质量。采用了一种简洁的字典内图像块匹配方法,避免了繁琐的直接求取稀疏表示系数。在图像重建过程中,并不直接求解输入的低分辨率图像块的稀疏表示系数,而是以欧氏距离为度量,在字典内搜索与输入的低分辨率图像块最近的低分辨率图像块,并利用稀疏共同发生先验知识,找到对应的高分辨率图像块,用于重建输出图像。综上所述,本文在多帧图像超分辨率重建算法方面,提出了分级迭代的亚像素配准方法和几种图像融合方法。通过仿真实验可以看出,提出亚像素配准算法在精度和准确性方面优于其它常见算法;提出的几种图像融合算法较几种经典融合算法有明显的速度优势,具有实时实现的潜力。单帧图像超分辨率重建算法方面提出了动态字典构建方法和字典内图像块匹配方法。实验表明,提出的动态字典构建方法较其它字典更利于图像重建,字典内图像块匹配方法简单有效。最后将两类重建算法结合,提出混合型图像超分辨率重建算法框架。通过静止图像和视频图像序列的仿真实验,可以看出提出的算法框架行之有效,在放大因子上超越其它图像超分辨率算法,提升了整个图像超分辨率重建系统的性能。