论文部分内容阅读
视频广泛使用于日常生活,公共安全,航天航空等应用领域。视频在采集,传输和存储中,因为受到各种因素的影响可能会产生模糊现象。由视频采集设备抖动或物体运动引起的运动模糊是最常见的视频模糊。模糊的视频不仅直观地影响视觉感受,而且会丢失视频中的部分重要信息,对视频信息的提取和辨识等分析工作带来影响。因此,如何有效地获得清晰的视频是学术界和工程界长期关注和研究的重点问题,因此,该研究有重要的学术价值和重大的工程意义。目前,清晰视频主要可以从硬件方法和软件方法两个方面获取。硬件方法是通过改进采集视频的硬件设备来避免采集到的视频出现模糊。但是,这种方法会增加硬件设备的体积、重量和成本,因此,该方法普及性较差。软件方法是使用数字图像处理技术对模糊的视频进行复原,得到清晰的视频。该方法具有成本低廉,使用便捷的优势。本文针对运动模糊视频问题,开展数字图像处理技术对运动模糊视频复原方法的深入研究。运动模糊视频复原方法是从模糊的视频中复原出清晰的视频。由于模糊视频丢失了大量信息,因此,模糊视频复原属于病态的盲复原问题。为解决这一问题,运动模糊视频复原领域的科研工作者提出了一些复原方法。但是,由于运动模糊视频不仅具有空间信息而且包含时间信息,视频中的模糊比较复杂,因此增加了视频复原的难度,使得现有的复原方法具有一定的局限性。本文首先在调研和分析了国内外具有代表性的运动模糊视频复原方法的研究背景、意义和现状的基础上,针对运动模糊视频复原方法的关键和难点问题,开展了以下三方面的工作:(1)提出一种基于帧间运动补偿和约束的运动模糊视频复原方法。早期的传统视频复原方法在估计模糊核时没有充分利用视频的空间和时间先验信息,存在估计结果不准确和程序运行时间较长的问题。所以,考虑在视频复原过程中,充分利用视频的时间信息和空间信息,提出一种基于帧间运动补偿和约束的视频复原方法。该方法致力于复原在拍摄场景深度不变的条件下,摄像机沿直线方向做平面运动时拍摄静态场景,这是因为摄像机抖动或移动速度过快会造成空间不变的运动模糊视频。该方法的优势在于能够复原不含有清晰帧的运动模糊视频,并且具有较快的复原程序运行速度。该方法提出一种估计模糊核策略,首先估计待复原的模糊帧与其相邻帧之间的运动矢量,对复原后的相邻帧进行补偿,获得运动补偿帧。然后,对运动补偿帧进行预处理,得到派生的运动补偿帧,将其输入到改进的模糊核求解模型中估计出模糊核。该方法还提出了一种清晰帧求解模型,该模型的帧间信息约束项,使用时间正则化函数对求解结果和运动补偿帧之间的帧间信息进行约束。该模型能够有效的抑制振铃效应,避免复原后的视频出现不连续现象。最后,使用扩展的快速全变差去卷积方法对清晰帧求解模型进行求解,得到复原后的清晰视频帧。(2)提出一种加权曲波累积的运动模糊视频复原方法。摄像机自然状态下采集到的运动模糊视频的模糊为空间变化的,此时摄像机的移动轨迹和拍摄场景都没有特殊要求。对这种运动模糊视频提出一种新的复原方法,原理如下所述。首先,由于摄像机抖动具有随机性,在自然状态下采集到的真实模糊视频中不同视频帧的模糊程度是不同的,即对于同一个物体可能在某些视频帧是模糊的,在另外一些视频帧却是清晰的。因此,为了利用自然状态下采集到的模糊视频的这一特点,提出一种加权曲波累积方法,用来估计待复原的模糊视频帧的初始潜在清晰帧。然后,当摄像机采集到的视频中有多个物体在运动的时候,由于不同物体的运动状态往往不同,使得不同物体上像素点的帧内运动矢量与帧间运动矢量的比值是不相同的,该比值称为运动矢量占空比。但是,在现有的视频复原方法中,该值设置为摄像机固定的占空比的值,或者设置为一个常数。实际上,在摄像机自动曝光的时候,为适应不同的光照条件,摄像机的占空比值是未知的。将空间变化的运动矢量占空比的值设置为一个常数,这会造成在后续步骤中估计帧内运动矢量值时引入误差,最终影响估计的模糊核的精度。为解决上述问题,提出了运动矢量占空比计算方法,可以有效的提高模糊核的精度。最后,使用估计的模糊核,利用分块策略和时空信息,建立了一种新的清晰帧求解模型,最终得到复原结果。(3)提出一种基于像素点的运动矢量占空比的运动模糊视频复原方法。当采集的运动模糊视频中有多个运动物体或拍摄场景有较大的深度变化时,提出一种能够估计视频帧每个像素点的运动矢量占空比和模糊核的复原方法,称之为基于像素点的运动矢量占空比的复原方法。该方法能够复原视频帧相邻像素点的运动矢量占空比和模糊核差异较大的运动模糊视频。首先,提出利用最大最小距离聚类方法,结合光流和帧内投影累积模型,估计出每个像素点的运动矢量占空比和模糊核。然后,建立清晰帧求解模型,该模型采用相邻视频帧的时间约束来保持视频的时间连续性,引入运动矢量占空比的正则化约束以保证其梯度稀疏性,并且引入潜在清晰帧和光流的空间约束避免振铃效应。提出的复原方法还构造金字塔方案实现快速收敛,提高程序的运行时间。使用交替迭代的方法更新潜在清晰帧、光流和基于像素点的运动矢量占空比三个数据的值,从而改善复原后视频的清晰度。为了证明以上提出方法的可行性和实用性,通过大量实验,使用提出的运动模糊视频复原方法对人为模糊视频和真实模糊视频进行复原,将复原结果与现有典型视频复原方法从主观视觉和客观评价两个角度对复原结果进行充分的比较和评价。实验结果表明我们提出的运动模糊视频复原方法能够有效的复原运动模糊视频,得到更好的运动模糊视频复原结果。