目标跟踪系统在最近十几年中受到安全管理部门、国防科研院所、高校等部门的有关学者、工程技术人员的极大关注，其在地形匹配、图像导航制导、战场侦查测绘、反恐防恐、城市安全等方面得到广泛应用。伴随着科技的不断发展，人们对于跟踪系统的要求越来越高，促使目标跟踪系统朝着小、精、巧的方向发展。在目标跟踪系统中，由于需要快速的、精确的、实时的处理大量的数字视频信号，DM642处理器就变成了首选和主流。本文提出的目标跟踪系统就是以DM642处理器为基础进行设计的。具体的设计工作包括：首先，通过比较几种目标跟踪算法的优缺点和其所适应的环境，设计了以模板匹配和平均绝对差值算法为目标跟踪算法的核心算法；其次，给出了目标跟踪系统的总体设计方案，并对主选芯片的选择进行了论证；随后，以DM642处理器为核心设计了视频采集系统的硬件电路，并给出了各功能模块的电路图。最后，本文给出了大量的外景实验数据，用实验的跟踪效果验证了系统的跟踪性能。结果表明本系统满足了实时目标跟踪的需要，具有较好的适应性和精确性。