手势识别技术是视觉识别中一个重要的研究方向。基于视频的手势识别技术正逐渐改变人们的生活方式,如帮助人们摆脱传统的键盘鼠标。随着计算机视觉和模式识别技术的进一步发展,实时的基于视频的手势识别系统将进一步促进人计算机交互的发展。尽管基于视频的手势分析等相关研究已经取得了很大的进步,但手势识别技术要想在计算机视觉领域获得更广泛的应用,存在许多障碍以及一些急需解决的问题。其中一个问题是在基于视频的手势识别系统中,针对各种场景变化,如背景变化或复杂的光照,如何快速地从手势运动序列图中检测并提取有效的手势,对手势目标进行鲁棒的跟踪。另一个问题则是,如何从手势图像或视频中获得更多、更有效的信息,从而准确识别手势。本文针对以上两个问题,结合基于视觉的手势识别的理论及研究背景,构建模型,然后从手势区域检测及分割、手势跟踪、手势识别技术三个部分研究了用于人计算机交互的手势跟踪及识别系统。论文的主要工作如下：(1)在手势分割阶段,对静态手势图像采用了基于RGB和HSV两个颜色空间的肤色分割方法,并在基于肤色信息的基础上运用一种改进的Snake模型,取得较好的轮廓提取效果；对动态手势图像采用了一种改进的差分法提取目标,并结合数学形态学,对前景提取结果进行进一步的优化。(2)在手势跟踪阶段,将Camshift跟踪算法与Kalman滤波算法相结合,通过确定搜索窗口获取手的位置。Camshift算法负责计算手势跟踪窗口的位置及尺寸,Kalman算法负责预测手点位置。(3)在手势识别阶段,针对静态手势图像,融合了角点检测的思想,采用了一种拓扑结构的手势识别技术；针对动态手势图像采用了基于特征光流法的手势识别方法。