论文部分内容阅读
超高清电视及电影业的不断发展带动了人们对观看更高帧率视频的需求,且不同国家、不同设备之间所采用的帧率不同,为了实现这些不同标准格式下的视频间的帧率转换以及为了给人们带来更震撼的观影感受,帧率提升技术(Frame Rate UpConversion,FRUC)被提了出来且逐渐成为研究的热点。帧率是指每秒钟所传输的图片的帧数,单位为帧每秒(Frames Per Second,FPS)。视频的帧率越高,其画面中的动作就越流畅、细节就越细腻,人们的观影体验也就越好。帧率提升技术是指在原始的视频序列中间内插出一些帧,使原本低帧率的视频变为更高帧率的视频。正是由于人们有获得更佳的观影体验的需求,所以FRUC技术有非常广阔的应用前景,值得学者们在这方面花费时间与精力来推动这项技术的发展。各国学者们也提出了多种帧率提升的方法,其中应用最为广泛的是基于运动补偿的FRUC技术,这种方法充分考虑到了视频中运动物体的运动情况,并作出了相应的运动补偿来得到较高质量的内插帧图,因而被广泛应用于实际中。本论文首先介绍了帧率提升技术的理论基础及常用的一些经典算法,然后对其中的基于运动补偿的FRUC技术中的一种基于网格的方法进行了重点研究,论文的主要研究内容及成果可归纳为以下三点:1.选取了六种较经典的图像特征提取与匹配算法进行对比分析,并通过实验发现,ORB+BF算法所做的匹配图像特征点较多且正确率最高,经过RANSAC误匹配后可以达到近乎100%。所以本文选用该方法来进行后续的运动估计及Delaunay三角形(Delaunay Triangle,DT)网格生成。且在这里,我们提出了一种新的三步图像匹配算法:BRISK+FREAK+BF,通过实验可以证明该算法具有更好的尺度不变性及光照不变性。2.提出了一种改进的DT网格生成算法,该算法基于上述的ORB+BF方法的图像匹配实验结果,将该匹配结果的特征点生成点集,读取三对特征点组合进行六参数仿射变换,将其代入起点坐标计算转换后的坐标得到运动物体的运动矢量;接着生成初始的DT网格,将点集中的点不断插入其中,判断是否满足DT剖分准则,若满足则删除之前的三角形,重新生成新的网格,不满足则继续读取点集直到网格生成结束。同时,将传统的空外接圆准则算法进行了优化,将传统的计算三角形的外接圆的圆心及半径,然后再计算出插入点到该圆心的距离从而判断插入点与圆的位置关系转化为计算两个角度的余弦值并判断其大小,从而判断插入点与圆的位置关系,这种做法大大简化了算法的复杂程度,使效率有了较大的提高。3.生成DT网格之后,对图像进行运动补偿来得到两帧中间的内插帧图。在这里,我们选取的两帧是测试视频的第一帧及第三帧图像,这样内插出的帧图就可以与原始的第二张帧图进行对比评价。本文是基于Windows7+Visual Studio2015+Opencv3.3.1平台进行实验,可以发现,无论是从主观的视觉效果上看,还是客观评价计算内插帧图与原始帧图的峰值信噪比(Peak Signal to Noise Ratio,PSNR)、归一化相关系数(Normalized Correlation,NC)及结构相似度(Structural Similarity Index Measurement,SSIM),都可以证明本文所提出的帧率提升方法优于经典的帧率提升算法,且得到了系统的实现。