论文部分内容阅读
随着人类对探索更广泛未知自然的渴望日益强烈,同时保护自身安全的观念逐步增强,在诸多领域都需要遥操作机器人系统。遥操作机器人系统使人们免于直接出现在机器人作业环境中,在本地即能对其进行远程控制,在很大程度上改变了机器人作业方式,并拓展了机器人的作业能力。机器人人机交互技术是遥操作中十分关键和热门的研究方向,机器人人机交互技术目前仍然在自然性、协同性、精度性和安全性等方面存在诸多难点。持续改进现有遥操作人机交互方式或提出功能特性更完善的交互方式一直是遥操作机器人系统发展的重点之一。 本文在研究和分析现有技术的基础上,提出了一种面向机器人遥操作的多模态人机交互技术,融合多种传感技术用于检测操作者的运动意图,并将虚拟现实技术与机器人控制技术结合,搭建了机器人运动虚拟环境,具体内容如下: 设计了面向机器人遥操作的多模态人机交互系统,主要由运动意图检测系统、人机交互软件和机器人运动虚拟环境构成。简单介绍了系统中使用的相关设备和技术,包括Myo臂环和Kinect体感设备这两种重要的交互设备,以及OpenGL图形库和Unity游戏引擎。 提出了基于多种传感设备的多模态运动意图检测方法,设计了基于表面肌电信号采集装置以及动作判断方法,编写了Windows平台下Myo臂环提取手势识别信息的C++软件,开发了基于Kinect体感设备骨骼帧的手臂末端位置跟踪软件,利用惯性测量单元(IMU)实现操作者手臂末端姿态跟踪。 基于OpenGL图形库开发了交互软件,提供控制交互设备的采集过程、动态展现操作者的姿态以及相关数据、坐标变换以及机器人运动学逆解算、控制信息发送等功能。制作了机器人各部件的3D模型,导入Unity中,搭建了机器人运动虚拟环境,编写了控制脚本实现机器人运动控制等功能。 最后,开展了实验研究,实验测定了系统中设备的稳定性以及动作识别准确率,检验了人机交互系统跟随操作者运动的情况,开展了交互体验实验,对比了各种交互方式的用户体验,对各种交互方式进行了分析总结。