计算机视觉中的目标跟踪技术,在视频监控、无人机、人机交互等方面具有广泛的应用前景。在过去的研究中,目标跟踪技术已经取得了很大的进步。但是在复杂的实际场景中,目标存在剧烈形变、被遮挡或者被相似背景干扰等情况,导致跟踪效果不理想。针对该问题,本文提出一种基于三维重构的单目视觉跟踪算法。本文首先利用实际场景中建筑物上存在的相互正交的平行线,提取正交消失点,根据消失点与摄像机内参数的内在约束进行摄像机自标定。然后利用相邻帧图像间的对极几何约束,计算本质矩阵,估计相机正确的位姿变化,实现对目标场景的三维重构,创建2.5D场景空间,得到目标和背景的三维深度信息。由于三维重构获得的深度信息存在尺度不确定性,本文提出对深度进行归一化的方法来解决尺度因子不同的问题。为了能够稳定地进行目标跟踪,本文首先利用目标的方向梯度直方图(Histogram of Oriented Gradient,HOG)特征和颜色直方图特征,训练相关滤波模型和颜色统计概率模型。利用重构获得目标的深度信息对候选目标框进行筛选,然后利用相关滤波模型和颜色直方图概率模型分别对筛选出的候选目标计算响应,并将它们的响应进行线性融合得到最终响应,响应值最大的地方就是目标的最优位置和最优尺度。利用目标中符合对极约束的特征点分析目标被遮挡的情况,当出现目标被遮挡的情况时,目标的位置为上一帧的三维坐标,并将前一帧中目标的HOG特征、尺度和颜色特征进行保存,遮挡结束后,继续利用特征跟踪。当目标没有被遮挡时,则利用目标深度、相关滤波和颜色统计模型继续进行跟踪,并进行目标深度和模型更新。