论文部分内容阅读
表情是除语言外传递信息的最佳途径,是体现情绪状态的直接通道。虽然表情仅产生于面积有限的脸部,但通过协调控制43块表情肌,可以组合出上万种表情。俗话说“出门看天色,进门看脸色”,透过表情可以观察人物内心情感世界,因此表情成为心理学科中重要的研究内容;与此对应,自发明计算机以来,人们就期望有一天它能像人类一样自如地通过表情表达情感,虽然至今为止,该目标并未完全实现,但人脸表情合成与识别的阶段性研究成果已经在数字娱乐、人机交互及计算机安全领域获得应用。如今,随着三维扫描设备及计算机设备不断改进,基于扫描数据的真实三维人脸表情合成及识别已经成为计算机图形学与视觉领域的热点。本文以建立基于真实三维人脸数据的表情合成系统为主线,详细研究三维人脸数据处理和表情合成中的理论及关键算法。论文的主要贡献如下:第一,受三维扫描设备能力所限及高光影响,三维人脸表情数据通常带有缺失区域,并且在某些应用中分辨率不足。为了解决这个问题,提出一种名为“双边径向基函数曲面”的重建技术。首先,通过与经典物理学中的平板电容模型类比,将三维曲面表达为平板电容的零等势面;接着由三维人脸点云数据,产生对应的正负电荷对,并初始化电荷能量配置;然后通过一种非线性优化算法不断调整电荷对的空间位置及能量配置,达到精确拟合曲面的目的;最后使用GPU加速技术可视化零等势面,得到人脸高分辨率点云模型。第二,为了合成具有真实感的三维人脸表情,提出一种基于稀疏编码的表情合成方法。该方法源于人类神经系统使用稀疏形式表达物体的特点。首先通过稀疏编码提取同一人脸不同表情的共同特征;接着由任意输入的自然表情自动恢复出基本表情;然后通过给定插值系数或表情样例的方式合成新表情;同时,通过引入部分投影法,还能有效修复带噪声和不完整的三维人脸表情数据。第三,为了适应人脸表情非线性分布的特点,提出一种基于非线性子空间的表情合成框架。首先分析人脸表情合成中的三个基本问题,将其归纳为“联合学习”过程;为了实现联合学习,在非线性子空间方法中引入投影约束,使得具有共同属性(如带有相同表情或属于同一人脸)的人脸表情在对应子空间中具有相同的坐标;接着通过投影与坐标传递,人脸基本表情可以由给定的自然表情得以合成;同时还能解决表情克隆和人脸表情数据修复问题。第四,为了将本文提出的三维人脸表情合成中的关键技术转化为实际应用,开发了基于扫描数据的三维人脸表情合成原型系统。