随着工业机器人/机械手应用范围的不断拓展,机械手操作任务越来越复杂,传统的操作杆、操作面板等人机交互操作方式已难以满足机械手构建执行任务的多方面需求。因此在机械手操作控制中,手势作为一种直观的人机交互方式近年来得到广泛关注与研究。而目前手势在机械手操作控制的应用中,手势为主导的绝对示教使得复杂任务难以完成;缺乏对动态手势与静态手势进行系统性地描述,使得机械手难以理解操作人员表达的完整意图。针对上述问题,本文提出动静态手势驱动的机械手协同控制方法,以充分发挥在任务构建执行中操作人员的智能决策性与机械手的自主感知规划能力。本文的主要研究内容如下:研究基于深度图像的动静态操作手势识别方法.首先基于Kinect获取深度图像并进行预处理。基于对静态手势轮廓的Hu不变矩特征提取,采用深度神经感知网络模型改进分类器模型,构建基于单帧深度图像的静态手势识别模型,提高了静态手势识别率。针对动态手势质心方向角序列识别中,手势质心运动快慢导致的识别准确率不高的问题,提出基于限距方式质心序列采样方法,并结合隐马尔科夫模型构建动态手势识别模型,保障了动态手势识别的准确性与鲁棒性。研究手势驱动的机械手协同控制任务指令构建方法.首先提出基于动静态手势结合识别驱动的机械手协同控制模型,以充分发挥任务构建过程中人的智能决策性与机械手的自主性。然后面向手势驱动,系统地设计了多层次机械手协同控制指令集并实现了其编译器。最后将手势与指令匹配映射,以机械手操作指令的自主构建来对任务进行描述,完成了手势驱动机械手协同控制任务的自主生成,解耦了从任务构建到任务执行这一过程,为任务的执行预留了优化的空间。研究机械手协同控制任务多层次自主解析执行方法。首先面向任务解析执行进行机械手运动学建模。然后基于任务语法树对机械手协同控制任务多层次自主解析,先基于任务层级结点子树规划作业次序,再基于动作层级结点解析生成机械手多段运动路径。最后充分发挥机械手底层自主感知规划能力,针对难以保障任务安全性的问题,基于虚拟势场感知,优化调整机械手运动路径矢量;针对多段路径停止-加速过渡造成的刚性冲击问题,基于圆弧插补混合多段路径,减少关节停止—加速次数以减少刚性冲击。实现基于手势驱动的机械手协同控制系统并进行验证。基于本文研究的动静态手势识别方法、手势驱动机械手协同控制任务指令构建方法、机械手协同控制任务多层次自主解析执行方法,从系统的功能需求分析出发,设计系统的总体框架和人机交互界面,从仿真与控制实体机械手执行任务两个方面对协同控制系统进行验证。