手势交互作为人机交互(HCI)中一种重要的交互方式，通过计算机从视频图像中检测手势并跟踪、识别，从而理解人的意图，由于其自然、方便，更适合人类自然的交互需求，应用场景非常广泛，已经成为人机交互研究的热点之一。鉴于基于传统RGB摄像头的手势交互应用比较受限制，本文针对深度摄像头研究手势检测与跟踪技术，实现自然的手势交互方式。传统的手势检测与跟踪算法大多要求手势在微形变、慢速运动的条件下进行交互，对于任意变形手势的跟踪算法始终无法摆脱背景、光照等的影响，鲁棒性较差。为了实现更自然的人机交互，本文研究目标设定为变形、快速运动、多目标的应用场景下的手势检测与跟踪。手势检测部分，针对不同应用场景的需求，可分为基于静态手势与基于动态手势两种起始手势的检测。本文针对这两种情况分别进行研究，对于静态手势的检测，为了提高检测速度，本文利用深度信息提出了深度场景层分算法将场景进行全局-局部的转换，并去除背景区域，再结合手指检测算法与DT特征检测手指并定位掌心；对于动态手势的检测，本文提出基于运动分割与跟踪、轨迹识别的通用算法，快速检测特定的动态手势，并应用在挥动手势的检测上。手势跟踪部分，本文以Camshift算法为基础，结合Kalman滤波目标预估与深度分割算法，实现变形目标的跟踪，并去除背景等区域的影响。针对快速运动的多目标跟踪，本文提出运动区域分割结合静止区域分割提取所有运动、静止目标的候选区域，通过本文中提出的目标-候选区域最优匹配法结合Kalman预估定位各个目标，再应用Camshift算法调整目标位置与大小，实现多目标的并行跟踪，提高了系统的实时性与抗干扰能力。本文的目标-候选区域最优匹配同时提供了多目标重叠再分离时的恢复能力，另外，为了解决传统变形手势跟踪中错误判断及恢复的难题，本文提出了基于时间加权的改进Bhattacharyya距离作为跟踪结果与目标的相似度测度，解决错误检测与快速恢复问题。