【摘 要】
:
随着视频显示设备的升级和视频传输带宽的提升,人们对视频视觉质量的要求越来越高。其中,视频帧率是影响视频视觉效果的主要因素之一。因此,利用视频帧生成技术实现视频帧率的提升是目前视频处理领域的研究热点之一,得到了广泛关注。视频帧生成技术是通过提取原始相邻帧之间的空间-时间特征,合成中间一帧或多帧图像,进而实现视频帧率提升的技术。视频帧生成技术在视频增强、数据压缩、视频慢动作处理等领域有着广泛的应用。然
论文部分内容阅读
随着视频显示设备的升级和视频传输带宽的提升,人们对视频视觉质量的要求越来越高。其中,视频帧率是影响视频视觉效果的主要因素之一。因此,利用视频帧生成技术实现视频帧率的提升是目前视频处理领域的研究热点之一,得到了广泛关注。视频帧生成技术是通过提取原始相邻帧之间的空间-时间特征,合成中间一帧或多帧图像,进而实现视频帧率提升的技术。视频帧生成技术在视频增强、数据压缩、视频慢动作处理等领域有着广泛的应用。然而,在视频场景中,通常存在场景复杂、物体运动迅速、物体遮挡、光照变化剧烈等问题,对视频帧生成研究带来了极大挑战。本文利用深度学习技术对视频帧生成方法进行了系统性研究,针对包含复杂背景和包含大尺度运动、遮挡的视频场景,分别提出了两种视频帧生成方法,并以此为基础,实现了视频帧率转换系统的构建。具体研究内容如下:(1)提出了一种基于残差块和特征金字塔的视频帧生成方法,该方法主要解决了在复杂背景视频场景下,帧生成方法难以获取精确运动信息的问题。使用基于残差编码器和特征金字塔解码器的U-Net网络捕获多层信息,获得更准确的目标像素运动信息,指导中间帧生成。实验结果表明,该方法在三个测试集中PSNR和SSIM值均高于对比方法。在主观评价方面,本方法能产生比其他方法更完整的物体边缘和纹理特征,具有更好的视觉效果。(2)提出了一种基于上下文信息和合成网络的视频帧生成方法,该方法主要解决了大尺度运动和遮挡的视频场景中,生成帧质量下降的问题。使用可训练模块动态获取相邻帧之间的上下文信息,利用上下文感知方法实现自适应协同流指导变形后的输入帧和上下文信息的融合,完成中间帧的生成。实验结果表明,针对包含大尺度运动和存在遮挡的测试集,相较于对比方法,该方法在客观和主观质量评估上优势明显。(3)实现了视频帧率转换系统的构建。针对上述两种方法,本文设计并实现了集成四个模块的视频帧率转换系统,将理论研究应用到实际。四个模块的应用目的不同,其中两个模块将本文提出的两种方法应用到视频序列,并展示了客观和主观结果;对比模块提供了多种帧生成方法的可视化结果;最后一个模块包含视频播放器功能,使用本文的两种方法对完整视频进行帧率提升,为用户带来清晰流畅的视觉体验。
其他文献
蛋白质间的相互作用(Protein-Protein Interactions,PPIs)参与了生物体内绝大部分生命活动,对蛋白质相互作用的预测研究是生物信息学领域中一个亟待解决的重要问题。高通量实验室技术的日臻成熟积累了大量的PPIs数据,但数据十分嘈杂且覆盖率很低。近几年,随着计算机技术日新月异的发展,计算方法开始在PPIs领域显现出其优势,基于蛋白质序列与机器学习的计算方法逐渐成为蛋白质相互作
随着服务机器人的广泛应用,其缺陷日渐凸显,如果考虑到老年人陪护中的问题,就知道现有陪护机器人还有多少问题亟待解决了。对于老年人来说,表达清楚一件事是有一定难度的,但是通常老年人表达意图时,环境因素和他们的手势、体态表达的信息往往是十分重要的,很多服务型机器人忽略了这一点,机器人不理解人的行为意图成为助老陪护机器人的应用痛点问题。因此,根据老年人特点,本文创建了多模态意图逆向主动融合的机器人交互系统
随着生活水平的提升和汽车行业的飞速发展,如何有效减少交通事故成为社会关注的热点之一,而驾驶员分心是诱发交通事故的主要原因。根据美国道路国家高速公路安全管理局(National Highway Traffic Safety Administration,NHTSA)公布的数据,交通事故死亡人数中,16%为驾驶员分心导致,因此驾驶分心检测技术对保障道路交通安全有着至关重要的作用。基于机器视觉的分心检测
计算机视觉技术的快速发展使智能监控领域迎来了广阔的发展前景。现实生活中如家庭、游泳馆等不同场景的智能监控与安全保障意义重大,而这些场景下监控的目的之一是为了对于不同场景下的人体异常行为进行识别。不同的异常行为与实际发生的场景息息相关,如室内独居老人的摔倒行为、游泳馆的溺水行为、加油站的吸烟行为等。现有的异常行为识别方法主要是利用可见光摄像头进行的,可见光视频纹理清晰、方法成熟。但在实际场景中依然存
随着我国经济的持续发展,货币资金在企业中的重要性逐渐显现出来。货币资金在产品的生产与公司的经营中都起着重要的作用。货币资金管理对企业的重要性不亚于其他任何因素,也是企业资产的重要组成部分。目前,我国中小企业发展相对缓慢,且中小企业在货币资金制度的运用、实施上,都面临着困难和问题,因此对货币资金管理迫切需要采取一系列的措施。本文将分析中小企业货币资金管理的相关问题,并给出合理对策。
随着智能终端设备的普及与无线互联网的快速发展,大量基于位置的服务在日常生活中被广泛应用,移动对象k近邻查询问题是许多基于位置服务的核心问题,同时又是空间数据库查询中的重要理论基础。由于时空数据的自身特性,一些已有的移动对象k近邻查询方法并不能很好的解决移动对象k近邻查询及增量查询问题,因此研究移动对象k近邻查询的相关问题具有重要意义。本文针对移动对象k近邻相关问题进行研究,第一部分研究内容是基于欧
近年来,随着虚拟现实和增强现实的飞速发展,三维虚拟人的构建和研究起着至关重要的作用,手部三维重建是实现这一切项目的基础。目前,很多研究都是专注于手部关键点的二维手部姿态估计和三维手部姿态估计等模糊且抽象化的形式来实现手部三维重建。这些方法大多数依赖于深度图像,即靠深度摄像机进行采集数据,存在高成本且功耗大、限制性大和数据采集难等问题。仅仅估计抽象的手部姿态不能解决手部模糊、手部遮挡和手部与物体交互
随着大数据和人工智能等领域的发展,人们对于数据处理能力的要求越来越高,基于冯·诺依曼架构的传统计算机的数据处理能力无法满足未来海量数据处理的需求。为此,基于人脑特殊结构的类人脑计算机以其可塑性强、数据处理能力强、具备记忆与学习能力的特点成为计算机未来发展的重要方向。突触是构成人脑的一种基本单元,同理,仿突触器件也是类人脑计算机的一个基本单元器件。氧化物双电层薄膜晶体管与突触具有结构相似性,具备模拟
水泥是最重要的基础建筑材料之一,在建筑、交通、军事等土木工程领域具有不可替代的地位和作用。我国水泥工业的水平和规模稳居世界首位,产量高达世界总产量的60%,然而我国水泥产业中高性能水泥产品占比低,低性能水泥产能过剩问题严重。水泥微观结构直接影响水泥的抗压强度等物理性能,因此基于水泥微结构研究水泥内部空间结构,进而提高水泥性能具有重要意义。为获取水泥微观结构,通常需要借助一些扫描设备。扫描电子显微镜
作为除电容、电感及电阻之外的第四种两端无源器件,忆阻器凭借其简单结构、低功耗、高速开关、易集成以及与互补金属氧化物半导体(CMOS)工艺兼容等优势在新型非易失存储领域得到了快速的发展与广泛的应用。忆阻器不仅可以实现高密度的信息存储,还可以实现非易失性逻辑运算和神经形态计算功能。忆阻器在单个器件中融合存储与计算的功能消除了冗余的数据传输过程,成为未来基于非冯·诺依曼计算架构的存算融合技术的核心。目前