人机交互系统以一种定义好的方式进行信息之间的相互交流，常见的交互方式包括语音、字符、手势等。手是人身上最灵活的部位之一，手势是人与人之间相互交流的重要方式并且在特定环境中通过手势进行交互是一种更加人性化、合理化的方法。手势交互系统凭借其价格低廉、非接触式的特点在家庭娱乐、机器人控制、手语交流、智能穿戴等领域具有广阔的前景，因此手势交互的研究成为近几年的研究热点领域之一。　　本文主要研究手势的跟踪以及识别算法，然后在此基础之上构建出一个基于Android平台的动态手势识别系统。用户通过该系统能够更加人性化地和“电视盒子”进行交互，在游戏操作的过程中具有更好的体验效果。论文的主要工作包括:　　1.为了提高手势识别的准确率，在手势分类模块提出利用卷积神经网络进行手势的分类工作。相比传统的分类算法，基于卷积神经网络的分类算法的识别率能够达到95％，得到了较好的分类效果。　　2.卷积神经网络能够提取到具有高级语义的顶层特征，为了提高手势跟踪的精度。文章提出一种新的算法，在卷积神经网络的高层特征映射空间利用核相关滤波算法进行手势的跟踪过程。核相关滤波算法利用循环矩阵在傅里叶域的特殊性质，能够将传统跟踪算法的平方时间性能较低到线性时间，文章证明了在卷积空间进行核相关滤波的算法合理性，并通过实验展示新的算法的跟踪效果。　　3.针对跟踪过程中出现的手势在类似背景情况下容易出现跟踪丢失的现象，文章提出利用双目立体视觉来对跟踪目标周围的环境进行立体建模，从而获取目标的三维景深信息，依据景深的不同将手势和类似的背景成功地区分开来。通过双目立体视觉来补充上面提出的跟踪算法的不足，使得跟踪算法具有更好的适应性。并通过测量静物的景深实验表明在一定的距离范围内，通过双目视觉获取景深的精度是可以接受的，达到了手势交互系统的精度要求。