卷积神经网络在视频超分辨率中的应用研究

来源 :电子科技大学 | 被引量 : 6次 | 上传用户:ywyyang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高分辨率显示设备近年来蓬勃发展,如4K(4096 2160),8K(7680 4320)和10K(10240 4320)电视机,2K(2560 1440)和4K手机等相继出现在日常生活中。但由于高分辨率视频资源的缺乏以及存储和传输高分辨率视频给当前系统带来的沉重负担,人们并非总能得到高清晰度的视频。为了在高分辨率显示设备上充分提升视觉体验,视频超分辨率算法的研究显得非常重要。超分辨率技术是将来自相同场景的单幅或多幅低分辨率图像经过一定的算法提升到高分辨率,使得到的图像具有更高的像素密度,更多的细节信息以及更细腻的画质。该技术不仅能够克服硬件系统的局限,扩大工程应用的范围,还能大大减少成本花费,非常值得深入研究与探索。当超分辨率算法应用于视频图像时,不仅会利用当前帧的信息,还会根据视频图像的特性,利用相邻帧之间的冗余信息来恢复出当前帧的高频部分。由于附加的运动估计以及多帧信息融合问题,视频超分辨任务本质上更为困难,因此并不像单幅超分辨那样被广泛研究。本文的研究工作就主要围绕以上两个问题展开并主要研究了卷积神经网络这一新兴技术在视频超分辨率中的应用,本文的研究工作主要包括:1.详细分析了现有的基于卷积神经网络的单幅图像超分辨率模型SRCNN以及其改进加速版本FSRCNN。在此基础之上结合视频图像的特性,提出了三个基于CNN的视频超分辨率模型并进行对比分析。2.当视频中出现较大运动以及运动模糊时,运动补偿变得困难,超分辨率重建图像也可能会因此出现一些不理想的边界效应或人工伪影,针对这一问题引入自适应运动补偿策略,以减少由于相邻帧的错误配准而对超分辨重建效果的影响。3.将训练好的单幅图像超分辨参数模型加以修改,然后运用于将要训练的视频超分辨率模型的初始化,进一步提高模型的训练效率与准确性。4.将基于CNN的光流估计方法用于所提的视频超分辨率模型的运动补偿部分,提出一个改进的加速模型,进一步提高模型的执行效率。通过与现有超分辨方法的对比分析可以看到,本文所提视频超分辨率模型从主观评价与客观评价方面来看都具有较好的超分辨效果。对其进一步改进的加速模型也能在不牺牲视频超分辨质量的情况下,大大缩短运行时间,这也为进一步实现视频图像的实时超分辨提供了希望与可能。
其他文献
随着经济的快速发展,目前我国的住宅多都采用了合理的供暖设施,为我们的生产生活提供了很多的便利。但是也存在问题,比如如何有效地节能就摆上了研究的桌面,目前我们越来越重
被动陆缘深水沉积盆地是深水油气勘探和沉积学研究的热点领域。本文基于尼日尔三角洲西部深水区与珠江口盆地白云深水区的高分辨率三维地震资料开展深水重力流沉积单元和沉积
<正>李克强总理在国务院常务会议上明确指出:"目前中国处于城镇化快速发展时期,加快地下管廊这方面的建设,很有必要",国务院办公厅印发的《关于推进城市地下综合管廊建设的指
目的调查孕期妇女的焦虑与抑郁现状以及影响因素,为早期发现孕妇的焦虑抑郁问题,早期防治以及开展健康教育提供有效的信息。方法采用便利抽样法对长沙市某三级医院的826名孕
高校理科基础课程,在本科课程教学体系中具有举足轻重的地位,而考试成绩在一定程度上可以量化课程的教学效果,了解学生获得知识能力的整体情况。成绩分析可以说是评价课程教
财商是与智商、情商并列的当代大学生基本素质之一,中国的传统教育理念使我国的大学生理财教育远落后于西方发达国家,导致学生的消费观念、投资理念、人生观、价值观出现种种
<正>2月21日,《中共中央国务院关于进一步加强城市规划建设管理工作的若干意见》正式印发,旨在通过一系列有效措施解决日益严重的"城市病"。"原则上不再建设封闭住宅小区"的
在现代社会发展和教育改革发展的全球化背景中,教师参与下的教育研究不仅有利于教育教学质量的提高,而且有利于教师自身素质的提高。从实际的教学经验和学生普遍的反馈出发,
产学研结合是国家教育部对高校人才培养水平评估标准中的重要指标。为优化高校旅游管理专业产学研合作实践教学的人才培养模式,提升旅游管理专业的人才水平,结合湖南地区高校
总结了32例初产妇分娩期心理护理的体会,包括对初产妇进行产前指导,第一、二、三产程中全面细致的心理护理。认为根据产程进展的不同阶段、产妇的不同情况及心理反应,给以相