论文部分内容阅读
由于影视和游戏制作等领域的需求驱动，三维人脸重建一直是计算机图形学中重要研究方向。与设计师人工建模不同，三维人脸重建主要从输入数据中自动塑造人脸几何。输入类型主要有:2D数据(图像或视频)，2.5D数据(立体图像或视频、深度图)，3D数据(点云、网格等)等。其中基于单张图像的三维人脸重建输入设备最简单，输入数据量最少，互联网上的素材量最大，因此在面向普通用户的消费级的应用中也最具有潜力。近年来，随着智能移动终端的普及和相关的技术的进步，基于单张图像的三维人脸重建技术开始广泛应用于各种消费级的应用，比如人像编辑中面容重塑，移动游戏中的虚拟形象创建，手机解锁中的三维人脸识别等。然而目前基于单张图像的三维人脸模型重建技术，仍然存在重建效果比较粗略，个体辨识度和表情表现力不足的问题，导致了在实际应用场景中的效果仍然不够理想，还有很大的提升空间。
本文围绕基于单张图像的三维人脸重建技术展开研究，针对图像中提取的特征语义性不足，重建的三维人脸形状比较粗略，以及极端人脸场景中应用效果不佳等技术问题，提出了一系列新的算法，使得重建人脸在个体辨识度和表情表现力方面有了明显提升，并且基于该技术研发了富有表现力的表情风格转移应用。本文研究涵盖了三维人脸重建技术上中下游三个方面:底层轮廓特征提取、核心三维重建算法和上层表情转移应用。取得的研究成果总结如下:
·底层特征提取方面，提出了一种基于RGBD图像的前景轮廓特征增强方法。从图像中提取前景轮廓一般需要首先对前景目标进行一致性地显著增强。然而，图像中前景内部的颜色边缘以及背景中的复杂纹理的存在，使得基于RGB的前景轮廓增强难以取得较好的效果。发现相比于颜色图，深度图往往提供了更加可靠的物体边缘信息。基于这个观察，本文提出了结合颜色和深度信息的图像显著性前景增强方法。我们的方法分为两个阶段:前景定位和轮廓推断。在前景定位阶段，生成一个滤除噪声的高亮区域作为前景目标的定位，其中深度信息主要用户辅助过滤噪声。在轮廓推断阶段，使用深度和颜色信息对目标边缘进行编码，然后引入随机游走算法来推测更加可靠的边缘。实验对比表明，我们的方法能够显著地增强前景目标的轮廓特征。
·核心重建算法方面，针对夸张表情人脸，提出了一种基于RGB图像轮廓特征的三维人脸重建矫正方法，使得重建的人脸更加富有表情表现力。常见的参数化人脸模型一般使用几十个常见表情基来线性合成不同表情的人脸几何。然而这种方法无法对人脸几千种不同的表情，特别是夸张极端表情进行精确表达。为了重建更加有表情表现力的三维人脸，本文一方面引入了2D轮廓特征对人脸形状进行更加精确地二维表达，另一方面增强了参数化三维人脸模型的表达能力。在2D特征轮廓的提取方面，本文设计了从局部到全局的主动轮廓方法来优化更新初始语义轮廓，来更好地贴合人脸五官特征边缘。在三维重建方面，本文在粗略的低维参数域人脸重建结果基础上，引入高维的顶点域的非参数化变形方法，使得重建的人脸超越人脸模型固有表达能力，从而更好地匹配输入的轮廓约束。实验评估表明，我们的方法重建的人脸更加具有表情表现力。同时在表情转移应用中，本文方法相比于前人方法能更加传神地转移夸张独特的表情。
·核心重建算法方面，针对多形态鼻子，基于增强的鼻子轮廓特征，提出了一种交替更新鼻子形状与轮廓匹配关系的三维鼻子重建方法，使得重建的不同形态鼻子更有个体辨识度。重建个性化的具有辨识度的三维鼻子，在鼻子整容、游戏捏脸、人像编辑和3D人脸识别等领域有重要价值。已有的方法难以从图像中重建出比较精确的多形态鼻子形状，一方面由于使用的参数化人脸模型表达能力有限，另一方面则是鼻子不像眼睛和嘴唇等区域一样容易提取充分而又有语义的轮廓特征。对于第一个问题，对参数化三维人脸模型加入后期非参数化变形矫正，来增强人脸模型的表达能力。对于第二个问题，针对鼻子区域皮肤颜色一致，轮廓特征难以提取的问题，应用基于RGBD的轮廓特征增强方法来改善2D轮廓特征的提取。提出了由粗到精地三维鼻子重建矫正算法，在重建的过程中，启发式地更新三维鼻子轮廓以及轮廓匹配关系，以适应不同的视角和形状。实验结果表明，本文的方法可以有效重建各种不同形态的鼻子形状，显著提高了鼻子的个体辨识度。
·上层应用场景方面，针对夸张表情和多形态的人脸，研发了基于精细三维人脸重建的表情风格转移技术，实现了个性化表情包模仿应用。在网络聊天中，人们越来越多地创作和使用表情包图像来表达自己强烈或者微妙的情感和情绪。这些表情包图像一般包含一张非常有表现力的夸张表情人脸，配以简短有趣的文字。而最近，微信推出了表情包跟拍功能，使得用户可以模仿流行的表情包来个性化地定制自己的专属表情包。这类应用往往需要能够转移夸张表情，而以往的表情转移工作少有关注这类独特的表情。本文针对夸张独特的表情，提出了富有表现力的表情风格转移技术，来实现普通用户对流行的表情包进行个性化的忠实传神模仿。我们的方案和贡献主要包括几何和纹理转移两部分。在几何转移方面，应用本文提出的基于轮廓特征的三维人脸重建矫正技术对夸张表情建模，从而可以实现没有扭曲的自然而又传神的人脸几何变形。在纹理转移方面，在预训练的人脸识别网络优化表情包图像和用户图像的混合，从而在转移纹理细节的同时能够保持用户的身份特征。在一系列的流行表情包图像上验证了我们的方法的有效性。
本文围绕基于单张图像的三维人脸重建技术展开研究，针对图像中提取的特征语义性不足，重建的三维人脸形状比较粗略，以及极端人脸场景中应用效果不佳等技术问题，提出了一系列新的算法，使得重建人脸在个体辨识度和表情表现力方面有了明显提升，并且基于该技术研发了富有表现力的表情风格转移应用。本文研究涵盖了三维人脸重建技术上中下游三个方面:底层轮廓特征提取、核心三维重建算法和上层表情转移应用。取得的研究成果总结如下:
·底层特征提取方面，提出了一种基于RGBD图像的前景轮廓特征增强方法。从图像中提取前景轮廓一般需要首先对前景目标进行一致性地显著增强。然而，图像中前景内部的颜色边缘以及背景中的复杂纹理的存在，使得基于RGB的前景轮廓增强难以取得较好的效果。发现相比于颜色图，深度图往往提供了更加可靠的物体边缘信息。基于这个观察，本文提出了结合颜色和深度信息的图像显著性前景增强方法。我们的方法分为两个阶段:前景定位和轮廓推断。在前景定位阶段，生成一个滤除噪声的高亮区域作为前景目标的定位，其中深度信息主要用户辅助过滤噪声。在轮廓推断阶段，使用深度和颜色信息对目标边缘进行编码，然后引入随机游走算法来推测更加可靠的边缘。实验对比表明，我们的方法能够显著地增强前景目标的轮廓特征。
·核心重建算法方面，针对夸张表情人脸，提出了一种基于RGB图像轮廓特征的三维人脸重建矫正方法，使得重建的人脸更加富有表情表现力。常见的参数化人脸模型一般使用几十个常见表情基来线性合成不同表情的人脸几何。然而这种方法无法对人脸几千种不同的表情，特别是夸张极端表情进行精确表达。为了重建更加有表情表现力的三维人脸，本文一方面引入了2D轮廓特征对人脸形状进行更加精确地二维表达，另一方面增强了参数化三维人脸模型的表达能力。在2D特征轮廓的提取方面，本文设计了从局部到全局的主动轮廓方法来优化更新初始语义轮廓，来更好地贴合人脸五官特征边缘。在三维重建方面，本文在粗略的低维参数域人脸重建结果基础上，引入高维的顶点域的非参数化变形方法，使得重建的人脸超越人脸模型固有表达能力，从而更好地匹配输入的轮廓约束。实验评估表明，我们的方法重建的人脸更加具有表情表现力。同时在表情转移应用中，本文方法相比于前人方法能更加传神地转移夸张独特的表情。
·核心重建算法方面，针对多形态鼻子，基于增强的鼻子轮廓特征，提出了一种交替更新鼻子形状与轮廓匹配关系的三维鼻子重建方法，使得重建的不同形态鼻子更有个体辨识度。重建个性化的具有辨识度的三维鼻子，在鼻子整容、游戏捏脸、人像编辑和3D人脸识别等领域有重要价值。已有的方法难以从图像中重建出比较精确的多形态鼻子形状，一方面由于使用的参数化人脸模型表达能力有限，另一方面则是鼻子不像眼睛和嘴唇等区域一样容易提取充分而又有语义的轮廓特征。对于第一个问题，对参数化三维人脸模型加入后期非参数化变形矫正，来增强人脸模型的表达能力。对于第二个问题，针对鼻子区域皮肤颜色一致，轮廓特征难以提取的问题，应用基于RGBD的轮廓特征增强方法来改善2D轮廓特征的提取。提出了由粗到精地三维鼻子重建矫正算法，在重建的过程中，启发式地更新三维鼻子轮廓以及轮廓匹配关系，以适应不同的视角和形状。实验结果表明，本文的方法可以有效重建各种不同形态的鼻子形状，显著提高了鼻子的个体辨识度。
·上层应用场景方面，针对夸张表情和多形态的人脸，研发了基于精细三维人脸重建的表情风格转移技术，实现了个性化表情包模仿应用。在网络聊天中，人们越来越多地创作和使用表情包图像来表达自己强烈或者微妙的情感和情绪。这些表情包图像一般包含一张非常有表现力的夸张表情人脸，配以简短有趣的文字。而最近，微信推出了表情包跟拍功能，使得用户可以模仿流行的表情包来个性化地定制自己的专属表情包。这类应用往往需要能够转移夸张表情，而以往的表情转移工作少有关注这类独特的表情。本文针对夸张独特的表情，提出了富有表现力的表情风格转移技术，来实现普通用户对流行的表情包进行个性化的忠实传神模仿。我们的方案和贡献主要包括几何和纹理转移两部分。在几何转移方面，应用本文提出的基于轮廓特征的三维人脸重建矫正技术对夸张表情建模，从而可以实现没有扭曲的自然而又传神的人脸几何变形。在纹理转移方面，在预训练的人脸识别网络优化表情包图像和用户图像的混合，从而在转移纹理细节的同时能够保持用户的身份特征。在一系列的流行表情包图像上验证了我们的方法的有效性。