融合时序信息的视频分层与修复

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:handy1989
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频作为一种新型的信息传播渠道,逐渐成为了人们在日常生活中不可或缺的一部分。在计算机视觉领域,视频分层与修复一直是广受关注的热门方向,这两者都能够为视频后期应用与处理带来益处。根据视频内容属性,通常可以将视频划分为卡通动画和真实场景视频两种类别。针对卡通动画而言,动画特效经常被用于呈现动画中的环境效果,例如下雨,下雪,落叶和落花等。目前针对真实场景的分层方法已经取得了不错的效果,但是由于动画特效与真实图层内容的本质区别,所以这些方法并不适用于动画特效分层;其次,针对真实视频,大量工作在解决图像修复内容质量上取得了卓越的效果,但是如何在视频修复任务中保证时序一致性的同时还能实时获得高质量的修复内容仍然是一个具有挑战性的问题。本文针对以上存在的问题,进行了以下方面的研究:(1)针对动画特效分层的问题,本文设计了一个基于运动先验知识的双任务神经网络,以同时实现动画特效层的分离和背景内容层的修复。通过观察特效和背景内容在运动模式上的差异,该网络提出了一种多尺度运动信息的特效预测机制来捕获需要关注的特效特征,并通过其引导网络的分层。同时,本文准备了一个全新的动画特效数据集,包含不同的特效种类和尺寸大小,以推动动画分层任务的研究。(2)针对真实视频修复的问题,本文设计了一个融合时序上下文的对抗生成神经网络。该网络通过加入一种时空注意力机制,分别在空间维度和时间维度上有效融合来自上下帧的时序特征以辅助修复目标帧,加强了网络保持时空语义一致性的能力。另外,本文利用对抗学习的方式监督修复视频的局部与全局内容,进一步提升了生成质量与逼真度。实验结果表明,相较于现有方法,本文所提出的方法在两种视频任务的效果上均有较大提升,并且能够为视频后期应用提供很大的帮助。
其他文献
目前的钢桥面沥青铺装材料在服役年限内过早破坏一直是备受关注的问题。环氧树脂基混凝土是一种新型的聚合物混凝土,具有良好的附着力和优越的力学性能,有望能解决这个一直悬而未决的难题。混凝土在工程实际应用中往往处于多轴应力状态,且各个方向的应变率亦各不相同。然而,由于真三轴动态实验实施困难,目前仍缺乏针对混凝土多轴动态力学性能的研究。即便是最常见的压剪特性研究,由于需要同时考虑压剪复合加载和应变率效应,亦
研制高强韧的压铸合金一直是汽车领域的研究热点,Al-10Si-Mg-Mn合金在压铸业应用最为广泛。然而由于其压铸件性能波动大,再加上合金本身硅含量高、塑性一般,其在更高韧性、塑性场合下的应用受到限制。近年来,高强韧的低硅铝合金研究逐渐增多,低硅的Al-Si-Mg系合金共晶区占比小、α-Al基体数量多,合金本身具有良好的塑性,在此基础上再通过微合金化调控铝基体中的多种纳米析出相,可以阻碍位错运动提升
近年来,模式识别作为人工智能中的重要领域得到了广泛的关注。针对现阶段模式识别中的分类任务,研究者需要处理的数据常常具有两个特点:1)数据集中有标签的样本难以收集、数量十分有限,而大量的无标签样本容易获得,2)数据维度很高。因此,高维数据的半监督分类任务有着较大的研究价值。常见的直接使用单一半监督分类器处理高维数据的方法存在两个问题:1)计算复杂度大,2)单个半监督分类器得到的结果常常不够稳定。针对
近年来,政府不断推动文化艺术产业的发展,各类艺术形式在人们生活中的比重大大提升,并逐步走出传统的文化场所,陆续进入商业空间。同时,由于体验经济到来、电商崛起和商业空间的同质化问题,商业空间急需向体验化和差异化的发展,艺术介入商业空间提供了差异化发展的路径,为消费者带来新的体验,艺术与商业相互促进形成了两者结合的重要趋势。本文基于以上背景,对艺术介入商业空间的现象和设计策略进行研究。本文从商业空间和
广州西关历史悠久,具有老广州深厚的文化底蕴。近年来伴随着广州亚运会、广交会、建国70周年等历史事件,针对西关的风貌整治及城市建设持续进行。在粤港澳大湾区建设如火如荼之际,粤港澳大湾区文化遗产游径设计规划工作在广东全面展开。在广州有诸多遗产游径试点,而广州西关就是其中之一,对此荔湾区政府等进行了一系列规划部署工作。声景学、香景学、光景学等相关研究与实践已从不同角度研究改善人居环境并取得一定成效。光景
配电网作为电力系统输送电力的终端环节,直接与用户相连,与广大人民群众的生产生活息息相关。提高配电网络的供电可靠性,改善用户用电体验,确保系统在故障发生时,能在极短的时间内定位故障区域、隔离故障范围,并制定供电恢复方案是目前电力研究人员研究的重点问题。本文主要基于广州地区电网特点的基础上,研究配电网故障定位和供电恢复技术。配电网故障区域的定位隔离和非故障失电区域的供电恢复作为配电自动化的核心,是配电
鉴于沥青路面冷再生技术具有废料利用率高,施工过程中污染相对较少、质量相对较好,而被广泛关注与应用。但因其本身材料来源、过程管理及施工工艺的不同,必然会造成其内部细观结构均匀性的差异,进而影响新旧集料内部分布、沥青胶浆性质及空隙率分布等细观特性,甚至会影响着冷再生沥青混合料的宏观性能。随着越来越多高等级公路的大中修或改扩建项目,冷再生混合料被应用的结构层位越来越重要,其施工质量的均匀性评价显得十分重
随着体育产业的发展,体育馆赛后运营成为了一项重要的内容,参与日常训练及锻炼的人员众多,低质量的室内空气品质会危害训练人群的健康。研究表明,长期密闭的空间内的新风量不足,CO2等气体无法稀释和排出,会和空气中不断滋生的污染物混合,把空气搅动得浑浊不堪,浓度超过一定程度会影响人群的健康,严重影响室内空气品质。本文以广东药科大学体育馆为研究对象,通过理论分析、实测研究和软件模拟的方式,对当前体育馆训练模
现有基坑支护结构深层水平位移测量方法中,固定式深层水平位移测量方法具有安装好以后测试效率高,测试成本低的优点,但由于测点间的布置间距缺乏理论依据,且安装复杂,制约了该方法的应用。本文针对现有固定式深层水平位移测量方法的缺点,根据分段叠加法原理以及基于蒙特卡罗法的测量精度分析原理,提出了测点间的布置间距的理论依据及分析流程,同时提出测斜管及倾角传感器之间的新型连接方法,解决其安装复杂的问题。本文主要
目的:ASCT2(编码基因SLC1A5)是一种以谷氨酰胺为首选底物、Na+依赖性的中性氨基酸转运蛋白,可将谷氨酰胺运至细胞内提供能量,在许多组织中高表达,癌细胞中广泛检测出该基因高表达。许多研究发现,敲低SLC1A5基因后,可抑制癌细胞的生长。另一方面,小分子抑制剂V-9302是一种竞争性的跨膜谷氨酰胺通量的拮抗剂,能选择性地靶向氨基酸转运体ASTC2,目前,其作用正处于临床前试验阶段,V-930