论文部分内容阅读
获取和生成具有真实感的人类手部动画,是计算机图形学中一个很基本的问题,而且对影视动画、视频游戏、虚拟现实、机器人,以及人机交互等领域也有重要的应用价值。目前高质量三维手部运动的获取是一件比较困难的事,没有成熟的方法可以使用。其次手部动画的生成,特别是具有真实感的手部抓取运动的生成,也是一个尚未完全解决的问题。另外,手部动画的相关工作都需要有手部的动态模型,比如骨骼蒙皮模型,作为基础;而目前这类模型的创建又是比较繁琐的。本文以数据为中心,对手部动画领域的一些关键问题进行研究,以求解决上述问题。首先,针对手部运动捕捉的问题本文提出了一个有效的框架,将基于标记点的光学捕捉设备和Kinect相机相结合,以捕捉高质量的三维手部运动。其中前者具有高精度和高时间分辨率的优点,但数据非常稀疏,而且标记点容易丢失。后者具有高空间分辨率的优点,但精度较差。两者具有互补关系,将它们结合起来可以发挥各自的优点,并避免其缺点。本文通过捕捉大量人手运动的数据,包括裸手运动以及更为复杂的物体抓取运动,证明了该框架的有效性。利用手部运动捕捉的数据,本文提出了一个实时的人手抓取动画的合成与控制算法。我们首先将抓取过程划分为三个阶段:“到达”、“合拢”,以及“操纵”;然后针对每个阶段我们分别建立了不同的数据驱动的算法来合成相应的运动,其结果具有多样性以及视觉真实感。我们还引入了基于物理的控制算法,求解得出手部抓取物体所需的关节力矩,以驱动手部进行物理仿真。最终得到的运动具有物理真实性,对物体物理属性的改变以及外力扰动等都能做出响应。另外,我们还开发了一个表演控制界面,让用户可以表演出所需的抓取动作,以方便地对动画结果进行控制。本文对许多不同形状、大小、重量、光滑度等的物体都生成了视觉和物理上真实的抓取运动,验证了该系统的有效性。为了快速方便地得到用户特定的手部蒙皮模型,以作为手部动画获取和生成的基础,本文提出了一个数据驱动的方法来对手部的姿态和形状进行建模。为此我们首先扫描了许多不同对象和不同姿态的手部三维静态模型作为数据库。对于姿态模型,我们采用LBS (linear blend skinning)以便与现成的动画系统兼容,其参数即为蒙皮权重。形状模型则被分解为骨架尺寸和顶点偏移,并使用主成份分析以得到简洁的表达。姿态和形状的模型参数都是通过数据库学习得到的。利用学到的模型我们就可以从不同输入,比如普通相机、Kinect、不完整的扫描模型,甚至是语义约束等,来重建用户特定的手部蒙皮模型:这大大降低了传统蒙皮模型制作中的工作量。另外我们还展示了其它一些应用,比如蒙皮传递,以及基于模型的三维手部姿态跟踪等。本文的工作不仅在技术上有所创新,而且还得出了一些手部相关的数据集,比如手部运动捕捉的数据、人手抓取物体的数据,以及人手模型的数据。另外本文还开发了一些可供实际使用的工具和系统,比如高真实度的手部运动捕捉系统、实时的人手抓取动画生成系统、用户特定的手部蒙皮模型重建系统,以及蒙皮传递系统等。这些数据和系统将会对该领域进一步的研究起到重要的推动作用。