随着科学技术的发展,机械臂越来越多地被使用,在工业制造,医疗,航空航天,深海勘探等领域都能见到它的身影。随着应用场景的多样化以及工作任务的复杂度日趋增加,人们对机械臂的交互方式也提出了更高的要求。目前最广泛的机械臂控制方式还是使用鼠标键盘或是机械臂操纵面板等方式来控制机械臂。这种方法对于生活中三维空间中的人们来说,无法做到简单地把控,因此一种更加方便直接的人机交互方式将是人们所需要的。在日常生活中,双手完成了大部分的工作,因此通过手势交互也是最简单的方式之一,同时机械臂也是通过模仿人类手部关节结构实现机械运动的,通过手势交互将是一种最简单直接的方法。本课题将手势交互与机械臂控制相结合,目的在于利用手势交互的直观性,便利性,开发出一种更加简单方便的机械臂控制系统。具体的研究内容如下:（1）实现手部的质心追踪,通过Convolutional Pose Machines（CPM）手部关键点检测算法来实现手部的关键点追踪,将0,15,7号关键点的平均值近似为手部质心点,同时采用卡尔曼滤波的方法对质心进行追踪,以提高手部质心追踪的稳定性。为了获得手部追踪点的三维坐标,结合深度摄像头的方法实现了手部质心的三维追踪。（2）实现静态手势识和动态手势识别,采用Mobile Net＿V2网络识别静态手势,该网络是一种轻量级的图像分类网络,可以使用较少的算力及内存资源来实现高准确率的图像识别任务。动态手势识别采用的是TSN＿LSTM模型,使用LSTM网络来提取视频的时序信息大大提高了模型对于动态手势的识别准确率。（3）对机械臂的运动学进行了分析推导。正运动学采用传统的坐标系转换的方法推导实现,通过为机械臂的所有相邻杆件建立D-H矩阵,实现了采用中间杆件的位姿来实现机械臂末端点的运动表示。逆运动学采用的是解析法,通过为机械臂建立模型,采用与正运动学相反的递推方法来实现由机械臂末端点倒推机械臂各杆件的位姿。（4）用户界面的设计,使用pyqt工具设计了操纵界面,提供了简洁方便的可视化窗口。（5）对整个系统的实现进行了阐述,包括深度摄像头视频的获取,深度摄像头和RGB摄像头的校正,手势识别工程实现等。（6）搭建了系统验证平台,对系统设计的三个重要模块（手部追踪,静态手势识别,动态手势识别）进行了仿真实验,验证了本系统的可行性。