近年来，随着计算机技术的不断发展，人机交互技术变得越来越重要，手势识别作为一种自然友好的人机交互接口，受到越来越多的关注，特别是基于视觉的手势识别。由于手势本身具有的复杂性和时间、空间上的差异性，基于视觉的手势识别在实际应用中仍面临许多严峻的问题，要实现任意场景下无障碍的自由交互仍是很大的挑战。为此，本文分别对手势检测、跟踪和识别技术进行研究，并提出相关算法。具体而言，本文贡献如下：(1)手势检测方面：提出结合肤色和运动信息对视频序列中的手势进行分割，在运动检测阶段提出一种新的利用低秩稀疏进行背景建模的方法，然后通过背景差分检测出运动手，再与肤色检测结果做融合运算，最后使用形态学操作、连通性分析得出最终的手势分割区域。该方法能成功检测出视频中有受类肤色影响的手势前景。(2)手势跟踪方面：研究了粒子滤波下的手势跟踪问题。考虑到采用单个特征建立观测模型存在不足，如仅采用颜色信息描述手势，当背景中有相似肤色干扰时无法实现正确跟踪，而且颜色受光照影响较大。本文提出结合颜色和纹理来衡量目标手势相似度。针对传统的粒子滤波存在计算量大、实时性差的问题，本文采用均值迁移算法对所有粒子进行迭代优化。和传统粒子滤波相比，本文方法可以实现复杂背景下实时鲁棒的手势跟踪。(3)在静态手势识别方面：本文将压缩感知理论用于手势识别，利用稀疏表示实现分类，并采用非自适应线性测量对手势特征降维，避免了复杂的预处理及训练。而且考虑到单个特征的局限性，在特征提取阶段结合Zernike矩和HOG描述符从全局和局部角度描述手势外观和形状。通过融合两种形状特征，对光照、尺度、旋转等变化更具鲁棒性。实验结果证明，和目前应用较广的手势识别方法相比，该方法具有较强的竞争性。