三维视频帧率提升及深度图修复方法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:abcd432110000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,新兴的数字多媒体技术给人们带来了多样化的观影体验。与传统的二维视频相比,三维视频可以为观影者提供更加身临其境的观影效果,因此受到了广泛的关注与研究。影响三维视频显示效果的主要因素包括视点的数量,随着视点数量的增加视频立体感增强,观影范围增大,而数据量也随之增加。此外为了提高显示效果,三维视频一般都有着很高的分辨率和帧率。因此三维视频的数据传输量是传统二维视频的数倍,巨大的数据传输压力与有限的宽带限制了三维视频的应用与发展。针对传输带宽有限的问题,本论文将二维视频帧率提升(Frame Rate Up-Conversion,FRUC)方法扩展到三维视频中,利用三维视频彩色图与对应深度图对三维视频进行帧率提升,通过在接收端合成高帧率三维视频,减少了系统发送端的发送量,达到节省传输带宽的目的。由于在三维视频帧率提升过程中需要用到高质量的深度图,而常规深度相机获取的深度图存在大量噪声,因此本论文还对深度图修复问题进行了研究。另外,三维视频的帧率提升技术旨在减少三维视频传输,却易被用来对视频格式进行篡改,以达到提高上传视频点击率的目的,针对这一问题,本文还提出了一种视频格式篡改的检测方法。本论文的主要内容及贡献有以下三点:1、提出了一种深度图加彩色图的三维视频帧率提升方法。该方法利用深度图与彩色图的边缘一致性,首先在运动估计过程中对宏块进行边缘块与平坦块分类,根据块属性进行不同的运动矢量估计从而得到更为精确的运动矢量。估计错误的运动矢量可通过运动矢量后处理过程进行检测与纠正。在得到精准的运动矢量后,根据像素点是否为边缘点进行像素点补偿。此外,基于纹理增强的运动矢量估计准则被应用其中,有利于快速找到匹配宏块。该算法能有效提升内插深度图及彩色图的质量。2、提出了一种基于边缘约束的深度图修复方法。该方法主要包括两部分,首先是空洞分类,它利用彩色图与深度图的边缘一致性对深度图的空洞进行分类与标记。其次是深度图修复,通过基于双边带滤波器的插值方法对空洞像素进行空洞填补。最后利用基于深度可靠度的联合三边带滤波方法对深度图进行降噪处理。该方法可以有效提高Kinect相机拍摄的深度图质量。3、提出了一种基于频谱分析的视频伪帧检测方法。该方法首先使用基于局部二值模式(Local Binary Patterns,LBP)的关键帧检测方法来分割原始视频。然后对每个视频序列进行分块离散余弦变换(Discrete Cosine Transform,DCT),以通过滤除图像的低频部分来区分原始帧与插入帧的差异。对滤波后的图像进行逆离散余弦变换(Inverse Discrete Cosine Transform,IDCT)以计算各帧的边缘强度。在得到帧序列边缘强度曲线后,利用霍夫曼平均线对该曲线进行二值化,从而对插入的伪帧进行定位,并估算出视频原始帧率。该方法可以有效检测出采用帧率提升方法进行视频格式作弊的视频伪帧。实验结果与分析表明,本论文提出的三维视频帧率提升算法的主观图像效果及客观PSNR等指标均优于经典算法。提出的深度图修复算法可以减少深度图空洞与深度图噪声,提高深度图的质量。提出的伪帧检测算法在测试视频库上能达到97.2%的平均检测准确度。
其他文献
还没来得及静静的思考冬天,冬天已成为昨日的记忆。  总是在冬天逝去之后才感到它的美好,那种寒冷的感觉,那种单纯的色彩,那种静寂带给心灵的平静与思考。冬天里没有做完的梦,在原属的季节销声匿迹之后,却依然萌动。  不知冬时堆的雪人是否还记得我们的微笑;不知冬时飘舞的雪花是否还记得我们的声音……面对冬的背影,留下的是一片不成格调的回忆,令人后悔虚度了冬天,令人追悔莫及。  忙忙碌碌,匆匆人生,值得我们珍
随着全国城镇化、工业化的发展及国家提出的城市各类绿地面积绿地率要求的提高,使得城市屋顶绿化在园林绿化中越来越显示其重要性和紧迫性,针对驻马店市立体绿化现状提出加快
摘要从品种选择、播种期的确定、培育壮苗、适期定植以及定植后的管理等方面的关键技术作比较全面的阐述。  关键词辣椒;小拱棚;栽培    大棚种植秋延迟辣椒,能使辣椒延迟到元旦、春节上市,辣椒产量可达22.5~30t/hm2,投资少、见效快、效益高。    1品种选择    秋延迟辣椒栽培需选用耐高温、抗病、生长势强、分枝性好、结果集中、高产稳产的品种,如庆研二号、中椒二号、中椒6号、中椒931等品种
<正> 大学英语四、六级考试中的听写填空试题是近年来出现的新题型,包括两种形式:spotdictation和compound dictation。听写的短文与听力理解部分的文章在题材、体裁和难度上
前置胎盘患者在妊娠后期容易发生阴道出血,可能造成流产或早产。对于部分病情稳定、症状轻微的患者,可在严密监测下给予药物干预,以延长妊娠时间,改善胎儿预后。我们分别采用苄羟
十九大报告明确提出要实施健康中国战略,通过医药体制改革,建立有中国特色的医疗卫生服务体系,不断完善新时代医院管理体制。国务院在《关于公立医院改革试点的指导意见》指出,“坚持公立医院的公益性质,把维护人民健康权益放在第一位”,在国家层面明确公立医院改革的根本目标是为了满足广大人民群众的获得感。公立医院内部绩效管理改革是公立医院改革的基础,在改革的过程中存在很多难点。传统的公立医院内部绩效考核只注重经
创业,在当今的商业社会早已演绎成一个个鲜活而令人心驰神往的财富故事。为众人所耳熟能详的微软帝国掌门人比尔&#183;盖茨也好,IT业巨擘史蒂夫&#183;乔布斯也罢,他们白手起
成本的控制与优化已经成为一次性餐具生产企业进行成本管理的重要方式,也是当前我国一次性餐饮企业进行原料成本控制的重要工作。因此,加强对一次性餐具生产企业的原料成本管
近年来伴随着物联网技术的飞速发展,无线传感器网络在军事、环境、交通、医疗、航天等领域都发挥着越来越重要的作用,网络部署的地点也逐渐从陆地过渡到海面、湖面等近水面环