论文部分内容阅读
随着超高清电视(Ultrahigh Definition Television, UHDTV)的发展,人们获得了更细腻、更逼真、更流畅的视频观影效果。超高清不仅仅是指空间分辨率上达到4K×2K,更重要的是为了实现更高的帧频、更大的动态范围和更丰富的深度色彩。在实际应用中,拍摄制作高帧率的视频通常需要昂贵的成本,还面临着巨大的传输、存储压力,所以如何从现有的低分辨率视频得到满足用户需求的高帧率、高质量的视频是亟待解决的重大课题。帧率提升技术(Frame Rate Up Conversion, FRUC)作为视频格式转换的有效手段,已经在多媒体信息处理领域中成为了研究热点。运动补偿帧插法(Motion Compensation Frame Interpolation, MCFI)利用运动信息来获取插入帧,是目前最有效的帧率提升方法。但是,MCFI也带来了诸多不可避免的问题,如块效应、空洞、遮挡等,这些都严重影响了视频质量的提升和用户的视觉体验。基于此,本文提出的MCFI皆在解决上述问题,本文的主要研究内容可以总结为以下三点:1.提出了一种基于运动修复的解决空洞问题的帧率提升方法,该方法从两个方面解决空洞问题:一是得到正确的运动向量,二是空洞区域的运动修复。首先,通过基于纹理的自适应性运动估计的方法获取准确的运动向量,并利用多方向增强的运动向量后处理方法来修正不可靠运动向量,这样精确的运动估计的结果可以有效地减少空洞区域的范围;然后,通过空洞区域的周围信息获取空洞区域的运动向量,并利用运动补偿的原理填补空洞。这种低复杂度的方法有效地解决了空洞问题带来的视觉困扰,得到了高质量的插入帧。2.提出了一种基于运动向量角的解决遮挡问题的帧率提升方法,该方法通过分析遮挡问题出现的原因,对不同类型的遮挡问题提出了自适应的处理方法:因为场景切换出现的暴露区域,采取帧重复法得到插入帧;由于物体相对运动出现的遮挡、暴露区域,采用前向、后向运动估计相结合的方法获取正确的补偿结果。同时,该方法引进了运动向量角和前向、后向运动补偿信息对遮挡区域进行了判定,有效减少了运算的复杂度。另外,本文提出了一种基于亮度信息的,增强算法的RGB彩色空间的矢量距离色差公式的非对称十字型多层次六边形格点搜索算法(Unsymmetrical Cross Muti Hexagon grid Search, UMHexagonS),该运动估计得到了高准确度的运动向量,大大降低了处理遮挡问题的运算复杂度。3.在以上两种帧率提升方法研究的基础上,设计完成了两个应用软件系统,将理论研究转化为实际的生产力。最后,本文设计了一个帧率提升方法的比较系统,整合了几种经典的方法,可以供用户对不同的视频序列选取不同需求的帧率提升方法。论文提出的帧率提升方法经过大量的实验测试,无论是在主观视觉效果上,还是在客观数值:峰值信号比(Peak Signal to Noise Ratio, PSNR)和结构相似度(Structural Similarity Index Measurement, SSIM)上都优于经典的帧率提升方法,并最终得到了系统实现。