论文部分内容阅读
图像/视频超分辨重建是目前研究的热门课题。从每一天的娱乐产品(例如高清电视),安全设备(例如人脸识别终端和监视器)到医疗设备(例如高分辨率显微镜)都受益于超分辨率技术的发展。 超分辨率图像重构是一种图像处理技术,这种技术旨在从一帧或多帧低分辨率图像中重建高质量、高分辨率的图像。当前有两种超分辨率技术:一种是基于重构的超分辨技术,一种是基于学习的超分辨技术。在本文中研究的是基于学习的超分辨技术。 单帧和多帧超分辨重构技术分别基于使用一帧或者多帧低分辨率图像。多帧超分辨技术优于单帧超分辨技术,因为能从输入的多帧低分辨率图像中提取更多的信息,最终重构质量更好的高分辨率图像。但是,多帧超分辨重构技术需要一种可靠的运动估计算法。 本文提出一种新的超分辨图像重构算法,它使用了局部全搜索运动估计算法、小波包变换和神经网络算法。所有工作可以分解成两个主要过程,训练过程和仿真过程。 在训练过程中,首先使用传统的局部全搜索运动估计获得运动矢量,作为消除视频序列中的目标运动的依据。图像的小波包分解是一项有用的技术,能提取简捷、有意义的特征向量。我们使用两级二维小波包变换分解高分辨率图像。在这个过程中,小波包分解的子图像作为神经网络的目标。然后,使用多层感知神经网络学习由低分辨率图像和小波包分解的子图像合成的细节。人工神经网络训练的结果是获得图像分辨率增强的最佳权重系数。 重构一幅超分辨率图像的最佳图像数目依赖于许多参数,例如运动估计的精度,图像的观测模型等等。很明显,在重构图像的过程中,图像的数目越多,超分辨率图像的结果就越好。但是,在实际中,它并不总是正确的,因为对能够得到的改善存在一些限制。在图像观测模型中的模糊,噪声和误差限制了分辨率的提高。因此即使使用大量的低分辨率图像,也不能重构一幅超级的超分辨率图像。实际上,超分辨率的基本思想是充分利用低分辨率图像中的信息。 实验的数据主要来源于真实视频中的图像序列,它们经过了不同的运动。人工合成图像序列被应用于模拟图像静止,相机运动的情况。采用了主观和客观的评价,实验结果表明,在视频序列中,本文提出的算法比传统的多帧超分辨算法效果更好,人工合成图像序列的仿真结果与传统方法相当。值得一提的是,提出的算法提高了超分辨率的客观质量和主观视觉质量。 软件架构是基于在Matlab环境下的现有超分辨应用的图形用户界面(GUI)开发的。它是比较/实验性的工具,但是也能作为一个标准的超分辨率图像重构系统。基于GUI的Matlab环境允许用户不需要任何编程技能,就能测试和比较迄今为止的所有不同的多帧超分辨率技术。这是一个灵活的软件算法平台,用户能够修改和增加自己的算法,进行实验,并和现有的算法进行比较。最后提供了产生低分辨率图像和评价客观质量的GUI调用代码。 本文不仅给出了一种新的、更好的基于学习的多帧超分辨率重构算法而且也提供了一种较方便的研究工具。