三维个性化建模技术是计算机视觉、虚拟现实等领域的一大研究热点,京剧作为我国国粹,而对于京剧脸谱数字化的建模技术近几年也受到了国内外研究学者的关注,并取得了一定的研究成果。目前,关于个性化京剧脸谱的实现方法主要有两个方向,一是脸谱妆容的二维投影的研究;另一个是矢量化脸谱纹样的逐层建模。但是,以上两种方法均基于脸谱纹样矢量库进行研究,存在着或真实感不足,或需要手工变形无法实时个性化等问题,因此,本文基于深度相机进行京剧脸谱的个性化研究,目的是让个性化效果更加真实且可以实时驱动,研究内容主要包括多帧人脸点云的配准拼接、面部数据的检测跟踪以及个性化脸谱变形技术三个方面,具体研究内容归纳如下:首先,设计了基于RGB图像三维映射的点云AU(Action Unit)单元的区域划分,并基于AU单元的快速点特征直方图(Fast Point Feature Histograms,FPFH)进行点云粗配准的方法。对于迭代最近点(Interative Closest Point,ICP)点云配准方法的效率低问题,采用AU单元局部特征代替点云全局特征,提高特征提取的效率,并采用AU单元局部特征进行粗配准,解决ICP点云配准方法的高偏差问题。由于该方法仅提取具有代表性的AU单元内的点云特征,因此,较常规的FPFH粗配准效率更高,精度更高,更能提供完美的初始变换矩阵,有利于解决ICP配准的高偏差问题,为个性化脸谱的关键点特征提取奠定了良好的基础。其次,设计了LBP(Local Binary Pattern)特征与肤色信息交替进行人脸检测跟踪的方法。对于人脸检测时存在的侧脸易丢失以及跟踪的实时性延迟等问题,采用了结合人脸肤色信息做为人脸跟踪的附加条件,同时在进行人脸检测时,利用可以表达人脸纹理特征LBP向量特征作为Adaboost分类器的训练输入特征。实验结果表明LBP特征相较于Haar特征对于人脸检测更高效,且采用加入肤色信息进行交替跟踪的方法,可以有效减小侧脸丢失的误差,更有利于实时跟踪以及面部特征点的提取,为个性化京剧脸谱的参数映射提供了稳定的数据。最后,提出了将三维标准脸谱进行AU单元划分,进行局部变形构建形状基的方法。本文以三维标准京剧脸谱为基础,研究京剧脸谱的三维变形实现个性化。基于Laplacian算法与BlendShape算法进行个性化京剧脸谱的研究,本文提出京剧脸谱AU单元划分进行局部变形来构建形状基的方法,解决Laplacian算法导致的脸谱区域变形时对不相关区域产生的异常变形问题,最后搭建个性化交互平台,将人脸特征点数据映射到京剧脸谱的AU单元,实现个性化脸谱。实验表明,该方法解决了异常变形问题,更加符合京剧脸谱的表演效果,实时性高效,表情自然。