近十年来,随着计算机科学的不断发展,视频目标跟踪已经广泛应用于各种领域。视频目标跟踪的难点在于视频目标尺寸的不断变化以及背景的不断更新变化,尽管人们已经解决了很多相关问题,但到目前为止,该领域还有很多问题尚待解决。本文集中注意力解决PTZ相机下行人的跟踪,着重解决了如何在跟踪过程中目标尺寸不断变化的问题。PTZ相机中的实时视频目标跟踪主要包括PTZ相机自标定、目标跟踪、自适应跟踪框的调整三个方面,本文对这三个方面进行了深入的分析和研究。PTZ相机自标定方面,介绍了绝对二次曲线、绝对二次曲面、单应性矩阵,以及直接使用Kruppa方程的自标定方法、使用绝对二次曲面的摄像机自标定方法,并分析了这两种自标定的优劣之处,本文选择使用绝对二次曲面的摄像机自标定方法。在自标定过程中对SURF特征匹配算法进行了改进,使用PTZ相机的PT坐标作为已知量,剔除了因SURF特征匹配的距离匹配方法引入的匹配错误点,改进后的算法剔除了很多错误点,从而提高了自标定的精度。目标跟踪方面,首先对目标跟踪进行了深入的分析和研究,着重介绍了均值漂移算法,包括均值漂移的基本公式、扩展形式、物理意义及其在目标跟踪算法方面的应用等,本文使用均值漂移的原因在于该算法收敛速度快,复杂度低,对于一般情况下,总可以在10ms以内收敛到最准确的位置。本文还介绍了加权RGB特征及其特征选择算法,使用RGB加权特征作为本文跟踪算法的特征的原因是该特征容易计算,复杂度低,在计算概率密度分布时,无需复杂的计算。由于本文的应用环境是PTZ摄像机,而且需要解决的问题是使得PTZ摄像机随着行人的运动而旋转,进而跟踪行人,现有的目标检测方法无法应用于这样的研究目的,因此需要对目标的位置进行预测,防止因突发事件引起跟踪算法的漂移,本文使用了Kalman滤波器对目标位置进行预测,并将其应用到对PTZ相机不规则PT坐标的预测上,并用实验结果说明这中应用的正确性及其合理性。由于本文所做研究是基于PTZ摄像机的,所以可有PTZ相机的特点来简化自适应跟踪框算法。本文所做研究限定条件为摄像机的运动是纯旋转运动,因此可以使用光学投影的方法解决刚性模型的自适应跟踪框问题。本文所做研究是基于目标运动模型的刚性特征的,因此对于行人的弯腰或者是摔倒没有良好的效果。在这样的应用前提下,基于对应用环境的分析,提出了一种时间复杂度为O(1)的算法,并且该方法可以与很多视频目标跟踪算法相结合,算法仅仅需要推导几何公式,且推导出的公式不含积分、微分等复杂的运算。从工程应用的角度解决了实际问题。实验表明该方法能够有效的解决PTZ相机下自适应跟踪框问题。