实时面部追踪和动画的动态表情回归模型的研究

来源 :北京邮电大学 | 被引量 : 1次 | 上传用户:lulu1984129
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文提出的动态表情回归模型本质上是对视频中的人脸进行追踪,利用二维面部信息驱动三维卡通模型,使其表现出相同的面部动画效果。人脸识别和追踪是人工智能、图像处理、模式识别等研究领域中的热点和焦点,而基于普通二维视频的三维信息重建工作更是难上加难。传统的三维形状回归模型融合了级联姿态回归模型与动态表情模型,使用一个单目摄像机就可以进行准确且稳定的面部追踪和动画驱动,但是对于每一个用户需要一个耗时的校准步骤。该模型需要被追踪用户几十张不同头部姿态和表情的图像参与模型的训练,得到一个可以识别自己特征的模型,但是该模型却无法有效的用于其他用户。针对这种不足,本文提出了一个无需校准相对自动化的方法。这种方法可以从公开图像数据集学习得出一个通用的回归器,当视频拍摄对象始终为同一用户时,此回归器可以通过任意单目摄像机准确定位二维面部关键点进而生成三维人脸形状。在这之后,利用得出的二维面部关键点来调整相机投影矩阵和用户特征,以便更好地匹配当前用户的面部表情。通过交替的方式执行回归和优化过程,有效地创建反馈循环,达到模型的自适应。当视频中越来越多的面部表情被观察到,整个过程便快速收敛,得到更准确的面部追踪和动画。通过相关的实验和数据分析,可以发现:(1)本文模型在无需校准的前提下,同样达到了较高的准确性和实时性。(2)本文模型仅需要一次训练便可以应用于不同的用户,具备了传统模型不具备的普适性。在以上各项研究的基础上,本文设计并实现了基于单目摄像机的实时面部追踪与动画系统。系统测试表明,该系统可完成视频人脸的追踪,三维卡通人脸动画等功能,并且实时、准确且稳定,具有很强的娱乐色彩和消费级应用价值。
其他文献
当前,从企业集团的财务领导体制、财务工作组织及财务管理制度三个方面构建企业集团财务管理体制,完善法人治理结构是集团公司发展壮大面临的紧迫问题。企业集团财务组织结构
非正式就业已经成为当今多种就业方式中的一种,在商业银行中非正式员工的使用比例将继续提升,在未来某一时间段,有可能实现一线岗位全部使用非正式员工,并且使用范围将扩大到
以乌鲁木齐HD污水处理厂污泥为研究对象,对乌鲁木齐市城市污泥基本性质进行实验研究。通过与《有机肥料》(NY 525—2012)、《城镇污水处理厂污泥处置园林绿化用泥质》(GB/T 2
<正>癫痫是常见的神经系统疾病,青少年和老年两个年龄段是癫痫发病的两个高峰。随着全世界大多数国家老年人口显著增加,老年癫痫患者数量逐渐上升,因此癫痫被认为是威胁老年
目的:探讨追踪法在消化内科新入护理人员培训的中应用效果,为改善护理服务质量提供一定的参考依据。方法:选取我院2015年5月~2016年5月消化内科新入护理人员34名,将其随机等分
上大佛摩崖造像位于四川省安岳县清流乡长新村,现存20龛,年代涉及唐、北宋、明,各期皆有年代明确的造像记。龛像时代特征明显,个别龛像独具特色,尤其北宋初期造像,多数有造像
哲罗鱼[Huchotaimen(Pallas)]又称太门哲罗鱼,属鲑形目、鲑科、哲罗鱼属,是我国大型的土著名贵冷水性鱼类。哲罗鱼具有生长速度快、易驯化等优良特性,是较好的冷水性鱼类养殖品种
湿地在保持水源、调节气候、抵御洪水、控制污染、维护生物多样性等方面具有不可替代的作用。然而湿地水资源短缺和生态恶化是当今面临的严重问题。管理好有限的水资源、处理
对三维建模与三维动画仿真技术进行应用方面的研究,通过阐述三维建模的设计和动画制作的实现原理,对三维建模以及动画仿真研究的科学理论成果进行归纳和总结,在产品的开发设
本文通过单元与结构的理论框架,分析中美关系演进中的"冷热不定"的态势,并对当代中美新型大国关系的构建提供启示。根据华尔兹的结构现实主义,中美两国作为当今国际系统中的