基于动态序列图像的生物特征识别已成为近年来计算机视觉领域中备受关注的研究内容,它主要从图像序列中检测、识别、跟踪人及对其生物特征理解和描述加以研究。人的生物特征识别在虚拟现实、人机交互、视觉监控等领域均有着广阔的应用,基于视觉的手势跟踪与识别研究就是其重要内容。由于手势具有多样性、多义性、手的复杂变形性、视觉本身的不适定性以及手势在时间和空间上的差异性等特点,因此基于视觉的的手势跟踪与识别是一个多学科交叉的富有挑战性的研究课题。一个完整的基于视觉的图像序列中手势跟踪与识别系统,通常包含下面三个部分:手的检测、分割,手势跟踪与手势识别。手势分割就是将有意义的区域(手)从手势图像中划分出来,是基于视觉的手势识别过程中的最为关键的一步,手势分割的好坏直接影响后续的手势跟踪、手势特征提取及手势识别结果。对图像序列中包含的手势进行跟踪(二维跟踪),即对投影到图像平面的手进行定位和跟踪,是手势识别的关键。手势识别则是把模型参数空间中的轨迹(或点)分类到该空间中某个子集的过程。本文主要研究了用于人机交互的手势跟踪与识别,分别对目标分割算法,手势跟踪算法与识别算法进行深入研究。主要工作总结如下:1.首先提出了一种基于肤色信息的自适应轮廓模型和一种自适应形状模型,实现了具有凸形与凹形两种边界轮廓的准确提取。这种自适应活动轮廓模型是一种改进的Snake模型,它使轮廓线能够自适应地收缩或膨胀,降低了对初始轮廓的敏感性,在视觉跟踪中不需在当前帧中重新初始化,只需进行目标定位,较好地解决了Snake模型及Snake跳跃模型的不足,保证了对目标轮廓的准确提取。鉴于这种自适应轮廓模型对于具有凹形边界的轮廓不能实现准确提取,本文又提出一种自适应形状模型,并运用拆分和聚合技术对该形状模型表示的‘中间轮廓’进行修正,实现具有凸形与凹形两类边界轮廓的准确提取。2.提出了一种基于各向异性核函数的均值漂移跟踪算法,实现图像序列中区域跟踪的稳健性、有效性和实时性。并且,融合均值漂移算法与自适应轮廓模型实现了图像序列中的手部轮廓跟踪。该算法提出了一种形状、大小、方向能自适应于目标局部结构的变化的各向异性核函数,将其应用于均值漂移算法实现目标跟踪,保证了跟踪效果的稳定性和鲁棒性。而均值漂移与自适应轮廓模型的融合算法,能够根据跟踪区域模板与目标模板的相似性度量Bhattacaryya系数给出在跟踪目标被遮挡时的处理方法,有效地解决了目标跟踪的这一难题。3.基于上述区域跟踪结果,利用手轮廓的方向直方图实现用于人机交互的静态手势识别;基于上述轮廓跟踪结果,利用隐马尔可夫模型实现用于人机交互的动态手势识别。方向直方图满足手势识别中对光照变化的不敏感性和手势平移、旋转不变性等要求,并且可有效的表示手势特征。基于区域跟踪结果,利用手轮廓的方向直方图本文实现了用于人机交互的静态手势识别;基于轮廓跟踪结果,同时应用手形及手部运动两大特征作为隐马尔可夫模型的输入实现了动态手势识别,提高了手势识别率,也达到了实时性的效果,且不必依赖数据手套等设备。4.提出一种新的基于范例集的跟踪器(CEE(CAMSHIFT Embedded Exemplar))跟踪器,在图像序列中同时实现手势跟踪与识别。为克服基于范例集的手势跟踪不能实现复杂场景下手部轮廓特征的精确提取及手部动作的不准确预测,本文提出一种新的基于范例集的跟踪器(CEE跟踪器),充分利用跟踪目标的运动信息与颜色信息实现复杂场景下手势的准确跟踪,而且能够同时实现手势识别。