基于单张人脸图片和一般模型的三维重建及其应用

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:abcwangyong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文提出一种使用单幅人脸照片进行特征提取、标准模型变形的全自动三维人脸重建方法。该方法对单幅正面照片(存在一定侧面角度[-10°,+10°])进行自动三维人脸重建,利用形变模型的先验统计知识来获取深度信息,再对一般人脸模型变形。只需一张正面照片,允许一定侧面角度[-10°,+10°],降低了对输入照片的要求,提高了建模的鲁棒性。实验证明,此方法可对一般人脸照片进行快速自动的真实感三维重建,有较好的实用价值,可用于人脸识别、动画制作等领域。使用改进ASM方法自动精确提取人脸特征点,通过使稀疏形变模型匹配平面特征点来获取照片人脸的深度信息,再将一般人脸模型变形到特定人脸。基于肤色模型优化的ASM提取人脸特征,使得一定角度的侧面照片也可以有很好的重建效果。同时,使用基于肤色模型的纹理融合技术使侧面信息缺失的问题得到很好解决。实验证明,该方法快速简便,只用单幅照片全自动化完成重建,无需用户交互,生成的三维模型有较好的真实感。具体研究内容有几个部分:1)基于人脸检测基础上的局部和全局特征提取生物特征提取是最近值得关注的研究热点,这也是模型重建的重要前期工作。对于局部特征,本文考虑眼睛检测。其中瞳孔中心的提取用于ASM算法的初始定位,为提高更好的收敛做好基础。对于全局特征,本文采用改进的ASM算法。为了提高纹理重建效果,引进基于肤色模型的ASM特征点校正,让特征点不落在皮肤之外,避免了纹理重建时的侧面纹理缺失现象。2)提出新的纹理重建思路只用一幅正面人脸图像重建其对应的三维人脸模型。对于重建过程,本文将其分为形状重建和纹理影射两个部分。形状重建基于特征点提取的基础,将二维和三维进行很好的结合,最优化逼近获得三维特征点,最后根据弹性算法将其变形获得形状模型。而纹理影射,本文用基于肤色模型优化的ASM提取的人脸特征来映射校正前的ASM特征点,将不对称的纹理信息映射到对称的重建模型上,有效避免了非严格正面人脸照片导致的侧面纹理缺失问题,获得较好的重建效果。3)更加人性化的应用程序demo框架为了让实验结果早日能应用到项目投资方和应用领域,本人使用面向对象的C++语言将核心算法及其功能封装在对象中,供实验室实用。同时,在VS 2005的MFC框架中搭建了一个实用而有友好的应用平台。4)对应人脸模型的在表情动画方面的应用在重建好的模型上,不仅仅是对三维人脸识别系统提供很好的方法,同时在诸多方面有较为宽广的应用。我们使用FDP(Facial DefinitionParameter,人脸定义参数)和FAP(Facial Animation Parameter,人脸动画参数)来实现人脸动画,所在项目的研究课题最终目标是将生成好的人脸模型做成说话头,结合翻书机器人组成助盲读书机器人来为盲人服务,本文将研究推进到人脸表情动画的应用上,未来会应用到语音口型动画上。对于上面的几个方面的深入研究,本文主要在以下几个方面取得了一定突破和进展,获得了一定研究成果。
其他文献
工业以太网技术是当前工业控制领域中的研究热点,国外多家自动化公司已推出了自己的工业以太网解决方案,我国也在进行工业以太网标准的研究和制定。EPA标准成为我国工业控制领
动态姿态测量技术可以在运动中实时自主测量载体姿态角,是武器控制系统、航空测绘、数字城市以及载体姿态多传感器数据融合的核心技术之一。本文基于激光捷联惯性导航系统研究
二十世纪九十年代以来,随着运动捕获技术的兴起,以及设备技术的进步,大量的三维人体运动数据被捕获,并被广泛的应用在计算机动画、游戏、医学仿真、电影特技等领域。在此背景
本论文首先对LPC2119芯片中与本机器人控制器的设计密切相关的片内外设进行了较详细的研究和分析,包括存储器与外设端口的编址方式及其地址影射、各引脚的功能和引脚连接模块
随着磁共振成像(Magnetic Resonance Imaging, MRI)技术的发展,扩散张量磁共振成像(Diffusion Tensor Magnetic Resonance Imaging, DTI)技术因其可以实现非侵入人体组织器官