自第一台数字计算机于1946年诞生以来,计算机技术在国内外均获得了空前的发展,其不仅是一种普通的计算工具,而且在新产业革命中扮演着极为关键且重要的角色。计算机技术应用于生活、工作的各个方面。然而,尽管计算机技术已经获得了巨大的进步,但其依然仅仅是一种高级的工具,其受到人的控制、支配和管理。有很大一部分利用计算机完成的各项任务是人机协作完成的,驱使人机交互(HCI)系统的产生。然而依赖外部设备的传统人机交互已经难以满足当今社会的需求。这在一定程度上推动了以机器视觉为基础的手势识别,其是一种新颖的人机交互技术,目前获得了国内外学者的普遍关注和重视。目前手势识别仍然具有广泛的实际应用和现实意义,如识别手语促进与聋哑人的交流、加强控制智能机器人使用户更加自然、辅助汽车驾驶提高安全度等。基于此,本研究在首先采用文献资料法对目前国内外关于手势识别技术相关研究成果进行综述,并对自然手势识别技术、传感器技术等相关理论进行了简要概述,旨在为本文的研究奠定理论基础。在相关文献和理论研究的基础上,基于手势识别环境复杂多变等问题,为此本文设计了一种改进CNN-SVM模型用于手势识别,该模型首先对手势图像进行手势分割处理和数据增强处理,然后用CNN完成对手势特征的提取,最后通过SVM分类识别。对手势进行预处理,减少模型参数,降低了算法复杂度;利用SVM分类提高了模型泛化能力和准确率。另外,基于动态手势动作时序帧数不一致以及构型不固定等问题,设计了多重长短记忆网络模型(LSMT)方法,并结合Kinect骨骼信息,对不同时序帧数和形态下同一动态手势进行识别与分类。最后,基于手势识别技术在智能机器人指令控制方面的有效应用,设计了集智能服务机器人与手势识别为一体的交互系统,并通过仿真验证了手势识别技术在智能机器人指令控制中应用的有效性。本文设计的模型较传统模型泛化能力更强,分类更准确,识别率均达到94%以上。