运动捕捉技术可广泛应用于三维影视制作、互动游戏、医学康复、体育训练、智能人机交互和远程控制等多个领域,具有极高的商业价值。传统的机械式、声学式、电磁式及惯性式等非光学式运动捕捉系统和有标记点的光学式运动捕捉系统已在上述领域获得了成功应用。相比之下,基于视频(无标记点)的运动捕捉系统是一种更加灵活的解决方案:从实际应用的角度而言,被跟踪的人物身体上不需要预先穿戴传感器或粘贴各类标记点;另外从学术的角度而言,这种技术不再仅仅局限于标记点的运动信息,使得近年来对三维人体外形和运动同时进行跟踪与测量成为可能。因而研究更加灵活的基于视频的人体运动捕捉系统同时具有重要的学术价值和实际应用价值。　　本文以基于先验蒙皮模型的三维人体运动跟踪系统为研究对象,研究工作主要围绕着该系统各个关键技术展开:　　对于特定对象的三维人体运动捕捉及跟踪,首先建立了一个该人体的先验蒙皮模型。其中,基于刚体运动的twist指数描述形式,并结合待拼接点云数据的重叠率信息,本文提出了HT-ICP部分重叠点云自动拼接算法,并推导出其等价的线性矩阵方程解。通过与传统的基于奇异值分解(SVD)的ICP(Iterative closest point)算法和基于四元数的 ICP算法进行对比实验,结果表明 HT-ICP算法有效地提高了点云自动拼接的速度和精度。针对存在高噪声的点云数据,本文给出了“4PCS(4-Points Congruent Sets)”+“HT-ICP”组合拼接方法,获得令人满意的拼接结果。进一步,使用 HT-ICP部分重叠点云拼接算法来对VIVID910扫描获取的对象点云数据进行拼接,得到一个单一连通的,且封闭的对象专门模型,以作为对象先验蒙皮模型的外部皮肤网格模型。最后通过定义运动对象内部骨骼模型,并将内部骨骼模型和外部皮肤网格模型绑定起来,建立了一个完整的特定跟踪对象的先验蒙皮模型。　　提出一种基于蒙皮模型和分层加权迭代最近点(HWICP)算法的三维人体运动跟踪方法。首先使用Shape-From-Silhouettes方法从当前帧多目视频图像中提取的人物轮廓并计算出被跟踪人物的可视外壳,然后建立人物先验蒙皮模型并与之匹配,其中蒙皮模型的引入使得多关节人体三维外形和运动跟踪问题被转化为一个分层最小二乘三维表面匹配问题。接着,使用 HWICP算法来对其进行求解。其中在对蒙皮模型肢体与可视外壳的匹配中,针对先验模型获取中肢体间连接部位的网格顶点粘连问题,本文采用加权扩展正交普鲁克分析(WEOPA),通过引入4种不同的权值分配策略,有效克服了顶点粘连对匹配的影响,并充分利用了顶点对的几何信息。　　提出一种联合LBS(Linear Blend Skinning)和Snake变形模型的三维人体外形和运动跟踪方法,能同时捕捉人物的三维外形和运动信息。首先建立人物对象的蒙皮模型,然后以每一帧多目同步视频中的人物轮廓作为输入,基于HWICP算法捕捉出每一帧 LBS骨架子空间下的人物三维外形及运动,然后再一次使用系统多目同步视频的人物轮廓信息,让 Snake内外力共同作用于皮肤网格模型上的顶点,使之自由地趋近于目标对象,提高了系统对每一帧人物三维外形信息的捕获精度。　　提出一种多目视频三维人体运动跟踪系统的蒙皮模型自动初始化方法。首先将8个相机标定到同一个世界坐标系下,计算其各自的投影矩阵。由8个同步相机第一帧的人物轮廓及投影矩阵,重建出目标人物的可视外壳,接着提取其顶点坐标及法线构成三维有向点云,并使用泊松表面重建算法将其转化成一个封闭、光滑、且单一联通的三角网格模型,以便于对其进行自动分割及肢体标注。然后,采用4PCS算法先对模型躯干进行匹配,进而运用得到的刚体变换矩阵将先验蒙皮模型躯干调整到多目同步视频第一帧中人物的正确位姿,接着采用带肢体标注信息的关节型 ICP算法对剩余肢体进行匹配,由于先验模型和可视外壳模型的各个肢体具有标注信息,这样就克服了关节型 ICP算法因各个肢体相互干扰而匹配失败的问题。最后先验蒙皮模型被成功初始化到多目同步视频中被跟踪人物的起始姿态。