基于深度学习的短视频风格迁移平台的设计与实现

来源 :北京邮电大学 | 被引量 : 1次 | 上传用户:juguoxianzhe
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
移动设备的普及和通信技术的发展使得以抖音和快手为代表的短视频应用风靡全国。与此同时,深度学习技术也日渐成熟,越来越多的研究成果被运用在移动设备上。风格迁移是一种基于深度学习的图像再创作技术,可以将真实图像渲染成具有艺术风格的图像,感染力强,深受人们喜爱。以Prisma为代表的图片处理软件借助风格迁移技术收获了上千万的用户。本文将风格迁移技术应用于短视频制作过程,针对现有风格迁移技术灵活性差、稳定性不好、模型占空间较大等问题,展开针对性研究,提出了一种应用于视频的任意风格迁移模型,并将其高效部署在移动应用当中。本文的具体工作如下:首先,本文针对移动设备计算资源有限的特点研究了一种基于实例条件归一化的,同时满足灵活、实时、轻量化的风格迁移模型。为了使模型能够应用于视频,在其训练过程中在网络特征映射层级和输出层级引入了时序一致性损失。经过实验证明,该方法在保持模型的实时任意种类风格迁移能力的同时,能够大幅提升时序稳定性,以生成连贯的视频。另外,为了进一步压缩模型并提高模型推断速度,本文将上述模型的风格预测网络部分使用MobileNetV3网络进行替换,并使用知识蒸馏技术进行训练;在图像转换网络部分使用深度可分离卷积替换普通卷积。再加上模型量化压缩,模型体积一共缩减88.2%。基于上述的视频风格迁移模型,本文设计和实现了短视频风格迁移平台,在移动设备上提供了风格化视频拍摄、本地视频风格化、短视频剪辑、艺术短视频交流社区等诸多功能。为了解决平台开发常见的代码复用率低、可测试性差的问题,本文用函数响应式编程方法,通过数据绑定机制实现了信号驱动的MVVM工程架构模式。经过单元测试、集成测试、UI自动化测试和性能测试的检验,该平台的所有功能达到预期效果,满足用户创作艺术短视频的需求。
其他文献
为进一步探究东当归的药用价值,并为合理开发及临床应用东当归提供参考依据,对东当归(Angelica acutiloba Kitagawa)的主要成分(挥发油、多糖、苯丙素、甾醇、黄酮类等物质)
本文主要就混凝土拌合站机械设备的日常维护工作展开分析,探讨搅拌主楼、配料机、斜皮带和螺旋输送机等机械设备的维护重点和应当注意的问题和以及应当采取的措施,推动相关工
将网络交互浏览技术(Web3D)引入课件制作。通过Adobe Flash CS3软件提供的ActionScript 3.0语言和Flash 3D开源引擎库Papervision3D,开发了一个标准件网络交互浏览课件系统。实践证明,课件中的交互性将大大增强学习者的中心地位和学习兴趣。
文言文承载着我国五千年宝贵而优秀文化遗产,文言文的学习可以评估学生语文学习能力的高低。初中生对于文言文的学习 基本要求是读读背背,而新课改下,高中生对于文言文的学习
龙舟是一项鼓手掌控节奏,舵手掌控方向,划手提供动力的集众人之力合作的团队配合性运动项目。团队凝聚力水平则是这样的集体性运动项目的制胜因素。实践研究中发现,部分龙舟
12月22日至23日,以“创新驱动发展,科技引领未来”为主题的中国一拖农业装备(中国区)2015商务洽谈会在洛阳隆重召开。全国各地400多家经销商的600多名代表齐聚洛阳,共同回顾和
从今年开始,我的睡眠质量开始变差,后来甚至达到了一有动静就无法入睡的地步。我被缺觉搞得头痛不已,所以决定从宿舍里搬出来住,挑来选去,最终选择了一套一室一厅一卫、带厨房的居室,我居住的这座小区住的大多是从学校里退休的老教师们,所以环境格外清幽,搬出来的那一天晚上,我终于恢复了久违的好睡眠。    但是没过多久,一个问题出现了,因为住的地方和学校相差很远,走到学校的食堂吃饭再折返回来,最起码也要折腾3
<正>本实验利用苹果酸(MA)与双羟基的1,4-丁二醇(BDO)进行熔融缩聚,通过改变单体摩尔比得到了一系列可降解聚酯生物弹性体材料(PBM),并对其结构进行了表征,同时讨论了该弹性
随着建筑业的快速发展,人民生活水平不断提高,人们对建筑设计的要求越来越高。不仅要求建筑外观符合审美,设计追求个性,更重要的是兼顾节能环保的特性,这样才能满足人们的需
集装箱码头日常的生产组织具有微观、细致的典型特点,但在以往的仿真研究中,对集装箱码头的细节描述比较粗糙,实体的行为进行了简化。为此,提出了集装箱码头微观分析仿真模型(Container Yard Microanalysis Simulation Model,CYMSM)的概念,分析了集装箱码头微观分析仿真模型的特点,研究了一个一般意义上的集装箱码头微观分析仿真模型的构建方法,对该模型的实体、事件、