基于深度学习的视频插帧技术研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:lihonggeng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频帧率转换技术是利用视频中相邻两帧之间的相关信息并应用插值的方法将中间帧重建出来的一种技术。由于该技术能在编码中去除冗余信息并降低视频传输过程中的帧率,减少视频网络传输的数据量,因此可应用于视频压缩或增强视频连续性。传统的视频插帧方法主要包括两个步骤,即光流估计和像素合成。在该方法中视频插帧技术的效果往往取决于光流估计的质量,而光流估计的过程容易受到遮挡、模糊的影响出现明显的错误。随着深度学习的发展,基于深度学习的视频插帧技术也有了新的突破,一些研究人员利用卷积神经网络尝试进行视频插帧取得了一定的成功。本文将传统方法中的光流估计与深度学习相结合,提出了一种将运动估计和遮挡处理联合建模的视频帧插值的端到端卷积神经网络模型。本文首先使用改进的FCN网络模型计算输入图像之间的双向光流,根据估计到的双向光流信息与输入图像进行warp操作得到两个翘曲图像,为解决遮挡问题,本文使用另一个GridNet网络模型重新估计图像的双向光流信息并预测插值帧的像素的可见性,最后将估计到的信息与原图像通过线性融合以形成中间帧。本文还尝试了多种损失函数,最终确定了将L1损失、感知损失、warp损失、平滑度损失等多种损失函数加权而成的损失函数。实验结果证明,本文提出的视频插帧网络结构可以有效提高光流估计的质量并改善遮挡问题,可以生成逼真,自然,质量更好的中间帧。
其他文献
在经济高速发展的今天,能源的开发和利用已经成为当下热议的话题,石油作为最具有开发价值的能源之一,也占据着人们主要的视线。因此,对石油管道输送工艺也提出了更高的要求,
研究了60种农药的高效液相色谱法分析中,对紫外光波吸收波长的选择,并找出了这些农药的最大吸收波长和适宜分析波长。农药残留分析可选择最大紫外吸收波长;农药常规定量分析可选
<正>《降E大调第四奏鸣曲》(作品7)Sonata No.4in E-flat Major,Op.7I.A llegro molto e con brioII.L argo con Bran espressioneIII.AllegroIV.Rondo:Poco Allegretto e gr
本文描写山西岚县方言音系,归纳其音韵特点,并列出同音字汇。 This article describes the Shanxi Lanxian dialect phonology, summed up its phonological features, and
面对如今外部如春笋般发起的民营医院以及各级医疗机构对于普通医院有着极为严峻的考验,人力成本管理在一定程度上直接关系着医院的竞争能力,近年来人力资源的成本呈现逐年上
<正>当下,有许多刚刚就业的年轻人,常常会感觉在工作当中找不到乐趣,在上班之余也找不到自己生活的目标,这似乎已经成为一种社会常态。究其原因,我认为是因为在独居的生活中,
期刊
<正>中国的长城,特别是万里长城,它的文化内涵很丰富,涉及的方面也很广阔。但就其本质来论,其文化的核心是和平文化。说长城文化的核心是和平,是因为修筑长城的最终目的是为
会议
目的了解广西民营医院发展现状,为政府部门制定相关政策提供参考和建议。方法通过文献研究和数据分析等方法,对来源于《中国卫生健康统计年鉴》、《广西卫生和计划生育年鉴》
近年来随着我国金融业综合经营的快速发展,少数金融控股集团集聚了较大的金融风险,可能带来跨机构、跨市场和跨行业的风险累积与传染。本文基于国际比较的视角,对金融控股公
中国周边是大国战略博弈和利益交织最为密切的地区,也是大国外交的中国特色最为凸显的领域。新中国成立70年来,周边外交在理念和实践上体现出不同的时代特征,既具有内在的继