论文部分内容阅读
三维人脸模型广泛应用于在众多视觉领域,包括安全监控、虚拟现实、电影动画等等。大多数人脸建模方法基于多边形网格,而实际上,由于多边形网格本身拓扑以及精度的限制,在多源的数据条件下,比如多样性的拍摄设备、拍摄环境以及被拍摄人脸的状态,基于网格的重建不能满足更高要求的精确性和易用性。而B样条曲面相比于点云、网格等人工造型,更近于表达作为有机造型的人脸表面,能够对人脸重建在物理上给予尽可能精确的解释和表达。本文旨在面向多源数据提出基于B样条实现人脸重建的系列方法:利用较少的任意拍摄的图片数据构建与目标较为接近的B样条人脸统一模型;利用较少的任意拍摄的图片构建的B样条人脸精确模型;构建能够精确拟合多样性三维人脸数据的B样条渐变模型。本文研究覆盖了从人脸统一建模、人脸精细建模以及人脸形变模型三个层面的工作并逐步展开研究。首先,本论文针对传统点云和网格模型在几何表达上不连续和不易编辑的缺点,为基于2D数据的人脸重建引入B样条人脸统一建模方法,构建二阶连续的3D人脸表面。该B样条人脸重建模型基于用骨架优化B样条曲面,能够构建在物理上带有个性轮廓特征的B样条人脸曲面。首先,低秩用于估计纠偏的二维骨架,结合结构相似度指标(Structural Similarity Index,简写为SSIM)计算深度信息,最后基于B样条通过调整控制点位置生成三维人脸表面。通过理论分析和实验结果证明了构建B样条人脸统一模型的可行性和有效性。接着,本论文针对统一B样条人脸模型中细节表达不明确的缺点,进一步提出基于B样条参数域的精确一致性建模方法,有利于实现比网格模型更精细的人脸重建。一方面,用基于B样条参数域上的低秩纹理结构和局部法向量分别对立体几何的0阶与1阶一致性进行精细的形式化建模,使模型与几何光学规律完全兼容;另一方面,B样条本身能够进一步减少表面形变所带来的走样。此外,本论文提出了结合两个一致性条件的实用性解决方案以及优化算法,能够高效地优化出具有准确细节的B样条人脸。通过理论分析和实验结果证明了基于B样条参数域的精确一致性建模的有效性。最后,本论文针对经典的人脸子空间渐变模型不能精细拟合人脸细节的缺憾,提出一个参数T样条渐变模型(T-spline morphable model,简写为T-splineMM),能够精确拟合未知来源的三维人脸数据。在模型中,用C~2的参数T样条表面描述人脸,在黎曼映射的参数域上构建基于T样条人脸函数拓扑线性子空间的形变模型。此外,提出拟合算法用于优化个性和表情的控制因子,以及在细化阶段优化细节。由于人脸以及表情的多样性,任何预学习的子空间只能是覆盖有限的渐变范围,而T-splineMM模型能够以更大渐变范围拟合人脸形状、肌肉变化以及微小细节。通过理论分析和实验结果证明了T-splieMM模型在精细拟合任务上的优越性。总结,本文从人脸统一建模、人脸精细建模以及人脸形变模型三个层面逐步展开,系统地研究了B样条人脸重建技术,并提出了一系列建模方法来解决人脸重建任务中的关键子问题。通过理论分析和实验证明了B样条建模在人脸精确重建任务中的可行性、高效性以及相对于传统网格方法的优越性。