自然世界中的物体在空间上一般都具有三个维度,如何快速准确地从图像采集设备获得的二维平面图像中恢复物体在空间中的运动参数并进行运动分析和理解一直以来都是计算机视觉领域中的研究热点。基于三维模型的三维跟踪方法对设备要求低,通常只需构造合理的三维模型并提供三维模型的初始深度即可,因此在虚拟现实、智能监控、视频编码、人脸识别、人机交互以及基于身体驱动的游戏和娱乐等实际应用中具有广泛地前景。本文对这种单目摄像机条件下基于模型的三维跟踪方法进行了研究与实现。首先本文使用双目立体视觉技术对跟踪目标物体进行三维重建。为此本文先进行摄像机的标定和配置,然后对图像进行校正和强边缘抑制,接着通过立体图像的匹配,得到了初始视差图像。最后对视差图像剔除误匹配并进行平滑,通过反投影得到目标物体真实三维模型。然后,本文使用了一种基于两步法的迭代变权灰度深度变化约束方程的方法对帧间姿态变化进行了求解。本文首先在研究灰度变化约束方程和深度变化约束方程基础上利用随机采样一致理论对二维特征点进行采样,并用灰度变化约束方程求解姿态的粗值,然后使用基于Huber函数的灰度深度加权方法求解姿态的精确值。求解方法使用了最小二乘迭代方法,在每次帧间姿态参数估计后,都利用重投影误差更新权重矩阵。对于帧间的二维特征点跟踪方面,则对标准的KLT稀疏光流跟踪方法进行了部分改进,主要是对特征点的跟踪窗口进行了重新选择,在帧间参数求解后,引入了特征点的置信度对特征点进行自动更新。其次,本文对基于模型的单目摄像机三维姿态跟踪算法进行了研究,使用了一种基于两步法的迭代变权灰度深度变化约束方程对帧间姿态变化进行了求解。文章研究了灰度变化约束方程和深度变化约束方程,利用随机采样一致理论使用灰度变化约束方程求解姿态的粗值,然后使用基于Huber函数的灰度深度加权方法求解姿态的精确值。由于连续跟踪过程中存在累积误差,为了消除累积误差,本文提出了一种空间分层的视角外观模型的思想,并结合该思想提出了一种快捷方便的索引方法。本文利用视角外观模型多帧配准方法,解决了帧间姿态估计中由于物体运动幅度过大造成的配准失效问题。针对多帧配准问题,本文使用了高斯随机变量衡量帧间参数估计的误差。最后,总结了单目摄像机基于模型的三维跟踪并对未来工作进行了展望。