论文部分内容阅读
图像变形是图像处理和计算机图形学中的一个重要分支和研究热点。在影视动画、虚拟现实、医疗成像、气象预测等很多领域都具有广泛的应用。现有的图像变形算法对刚性的图像变形已取得很好的效果,本文则主要研究非刚性图像变形问题,以及非刚性图像变形算法在人脸编辑中的应用。针对人脸这类具有特定结构的非刚性对象的变形问题,引入局部邻近结构(local neighborhood structure,简称LNS)约束和非刚性模型,提出了一种基于局部邻近结构约束的非刚性图像变形算法。之后结合提出的非刚性图像变形算法和人脸特征点定位算法实现自动人脸变形,再利用Cycle-GAN模型和剪切替换的方法解决图像变形的方法在嘴部变形存在缺陷的问题。最后利用自动人脸变形算法实现图像驱动的人脸变形动画。本文主要研究成果如下:(1)基于局部邻近结构(LNS)约束的非刚性图像变形算法。针对人脸这类具有特定结构的非刚性对象的变形问题,提出基于局部邻近结构约束的非刚性图像变形算法。该算法将图像变形视为以一个图到图的映射,图像中的每个像素点都一个独特的映射函数,即变形函数。变形函数构一个建于再生核希尔伯特空间内的是非刚性变换函数。变形函数的求解使用移动最小二乘法(moving last square,简称MLS),为了得到更自然的人脸变形结果,变形函数的求解过程中引入了局部邻近结构约束。实验表明,对于人脸变形,该算法比现有最优的图像变形算法具有更好的效果。(2)基于人脸特征点定位算法和LNS约束的自动人脸变形。针对人脸变形时选取合适控制点和目标点困难且不方便的问题,提出基于人脸特征点定位和LNS约束的自动人脸变形方法。该方法能够自动将一张人脸的脸型和表情转移到另一种人脸上。首先利用人脸对齐算法精确定位两张人脸的轮廓特征点,然后用一个全局的相似变换进行整体对齐以消除两组轮廓特征点对应的人脸在方向、大小和位置上的差异。最后,使用本文提出的非刚性图像变形算法,利用两组人脸轮廓特征点拟合出每个像素点的映射函数实现对源人脸图像进行变形。该方法可以全自动地实现人脸变换,也可以是半自动的形式,即在自动变换后允许用户通过便捷的方式对不满意的结果进行调整以获得更好的结果。实验表明该的方法能够生成平滑、自然、无明显瑕疵的人脸表情和脸型变换结果。(3)基于Cycle-GAN和自动人脸变形的人脸变换。针对自动人脸变形的方法在特定情形下存在缺陷的问题,引入了Cycle-GAN,并训练了一个对嘴部进行闭合与张开两种状态转换的模型。对于自动人脸变形在嘴部出现缺陷的情形,先利用训练的Cycle-GAN模型对嘴部进行转换,再将转换得到的人脸的嘴部替换源人脸的嘴部,最后再利用源人脸图像和目标人脸图像进行人脸变换。此外还可以利用Cycle-GAN模型进行发色、肤色等不同类型的转换,丰富变换效果。(4)基于非刚性图像变形的人脸表情动画制作。利用提出的非刚性性图像变形算法和实现的自动人脸变换制作人脸变形动画。