基于视觉的手势识别符合人的自然交流习惯，并且可以进行远距离、非接触的交互，成为人机交互研究中的热门方向，其中识别效果很大程度上取决于识别算法的性能。近年来，基于稀疏表示的识别方法由于具有良好的鲁棒性和识别效果，在模式识别中备受关注，但目前稀疏求解算法在精度和计算复杂度等问题上还需进一步完善。本文针对上述问题，对稀疏表示分类算法进行详细分析和改进，具体的研究内容如下:　　(1)在YCbCr彩色空间中建立椭圆模型对手势图像进行分割，并采用形态学处理消除噪声点，提取手势图像的Hu不变矩和HOG特征，并采用PCA降维。　　(2)针对OMP算法及其改进算法存在精度低，参数不确定的问题，提出改进的自适应正交匹配追踪算法，该算法引入稀疏度估计和变步长思想来实现稀疏度的逼近。实验结果表明，该算法的识别率高于其他改进的OMP算法，计算时间也明显小于OMP算法和SAMP算法，尤其在样本较多，维数较高时具有明显优势。　　(3)针对基于l1范数求解算法存在计算复杂度高的问题，提出l2范数局部稀疏表示分类算法，该算法引入局部稀疏表示思想，采用最小化l2范数选择局部字典。实验结果表明，该算法在保证识别率的同时有效降低了算法的计算时间，并且性能优于KNN-SRC算法。　　(4)为实现人机交互，首先建立多指手及其控制模型，然后编写手势识别界面，最后设定相关参数进行手势识别，将识别结果转化为控制命令，控制多指手实现相应的抓取动作。