随着人工智能的不断深入研究,人机交互越来越火热,计算机视觉逐渐成为当下研究的主流,越来越多的人加入到研究人机交互的领域。不同的研究者对不同交互手段进行了研究,例如人脸,手势,身体姿势等。研究人机交互的主要媒介是研究不同的卷积神经网络(Convolutional Neural Network,CNN),或是搭配不同的机器学习方法。在手势识别领域的研究历程中,传统的方法是通过对手势的分割,将手势从图片中分割出来,提取手势的Hu矩特征以及手指个数描述轮廓等信息,将这些提取到的信息置于BP神经网络进行训练识别。这种方法在识别的准确率上稍微有所欠缺。本文提出将卷积神经网络与在线顺序极限学习机(Online Sequential Extreme Learning Machine,OSELM)相结合的方法,以达到高识别率的效果。为此做出以下的工作:首先,对需要研究的课题准备好训练数据集,研究的内容采用自制手势训练集,同时在JTD静态手势数据集上做验证实验,提高算法的鲁棒性。在手势的特征提取方面,采用类似VGG16的卷积神经网络模型,对手势数据集做训练同时提取手势特征。其次,将提取到的手势特征值置于在线顺序极限学习机中训练识别,对比了不同的分类算法,比较不同分类算法在识别正确率方面的高低。同时分析了在线顺序极限学习机在不同大小样本上相对于其他分类算法有着更快的训练速度和更高的识别率,为手势识别提供了更加丰富的数据形式。通过实验数据的对比,本文提出将卷积神经网络与在线顺序极限学习机相结合的方法应用到手势识别中比单纯的使用卷积神经网络具有更高的识别准确率,在不同大小的数据上也具有更强的适用性。最后,基于本文提出的算法,开发了手势识别系统。将算法应用到实际生活中,实现算法的落地应用。将算法与游戏动画相结合,以实际应用验证本文提出算法的实用性。