图像的目标识别与跟踪技术，作为目前图像处理研究的重点方向，在军事和民用中具有广泛的应用价值。军事上如精确制导武器、导弹飞机的预警等；民用中如交通管理、刑事侦查等。其中，如何在复杂的背景中，提取、识别与跟踪特定目标更是急需解决的问题。本文介绍了国内外视频跟踪系统的研究现状与发展趋势、视频跟踪器的基本组成与工作原理。对国内外目前流行的目标跟踪算法进行了详细的比较，设计了基于DSP的视频跟踪系统并进行了实验验证，主要工作包括：1)给出了视频跟踪系统的硬件组成原理，视频跟踪系统的硬件电路采用双DSP的设计，选择两个TMS320C6455作为核心处理器，完成目标提取和跟踪的核心算法，选用Xilinx公司推出的Virtex-XC5VSX95T₂FF1136作为逻辑单元，完成图像采集、预处理与字符叠加等功能。MT47H64M16BT-3做为存储器，用于缓存采集的图像数据。给出了硬件电路的详细设计方法与电路原理图。2)在设计的硬件电路上，实现了图像的采集，预处理、存储功能，并给出了相关匹配跟踪算法、多模板跟踪算法和基于特征点跟踪算法等的原理。3)针对目前目标识别跟踪发展的趋势，对特征点跟踪的SIFT跟踪算法进行了详细的介绍，给出了SIFT的基本原理和实现方法。最后，进行了实验验证，结果表明，本文设计的视频图像跟踪系统工作稳定，目标提取能力和抗干扰能力强。