论文部分内容阅读
随着计算机软硬件技术的发展,计算机的运算能力得到了飞速地提升,如今人机交互的方式已经成为影响计算机的发展的因素之一。近年来涌现了许多新兴的交互方式,如语音、眼电、脑电、手势等。其中手势从古至今都是人类与工具交互的主要方式,它可以带来更加直观、自然、有效的交互。因此,关于手势交互的研究对人机交互有着重大的意义。目前关于手势交互的研究工作多集中于手势识别算法的研究,而忽视了以用户为中心的手势设计方法的研究,这限制了手势识别算法在实际产品中的应用。在手势识别算法的研究中,关于混合静态手势和动态手势的手势集研究较少,而且通常算法使用单一信号进行识别,这限制了识别的准确率。因此本文在使用手势控制无人机操作的场景下,设计了以用户体验为中心的手势集,使用肌电传感器、弯曲传感器、惯性传感器和嵌入式电路板构建了一套可穿戴手势识别设备,并基于该可穿戴设备对融合肌电信号、形变信号和惯性信号的手势识别算法进行研究,最后通过无人机控制模拟软件对可穿戴设备上的手势识别算法进行了验证。本文所做的研究工作如下:1.构建了多传感器融合的可穿戴手势识别设备。该设备使用肌电传感器采集前臂的肌电信号,使用放置在手指处的弯曲传感器采集手指弯曲产生的形变信号,使用放置在手腕处的惯性传感器采集手掌运动信息。本文构建的手套式可穿戴设备由传感器、采集电路和嵌入式信号处理模块组成,该设备可完成手势信号的采集、识别与交互。2.在手势控制无人机操作的应用场景下,以用户体验为中心设计手势集。首先调查市场上无人机具有的功能,并选择其中常用的15种。邀请实验者根据15种无人机的功能设计手势,完成调查问卷。根据实验结果,以用户认同度为衡量标准设计自定义的15种手势,并从功能符合度和执行舒适度对用户设计的手势集进行评价,分析手势集的可用性和用户体验,以促进手势识别算法在实际产品中的应用。3.提出了基于肌电信号、形变信号和惯性信号的多传感器融合手势识别算法,完成了对手势信号的处理和分类。算法首先对手势信号进行活动段检测与有效性判定,得到一个有效且完整的手势信号,利用小波变换和高斯滤波对手势信号去噪,再使用四元数对惯性信号进行坐标转换。针对15种自定义的控制手势,融合加权KNN与GMMHMM-SVM算法的识别准确率为97.33%,基于CNN算法的识别准确率为92.13%。本文对两种算法进行比较,选择准确率较高的算法移植到可穿戴手势识别设备中,并完成该设备与无人机控制模拟软件的交互。本文最终将数据手套、数据手环和嵌入式信号处理模块结合,形成可穿戴手势识别设备。该设备和自定义的手势集为人机交互提供了更加自然、人性化的交互方式,它的使用环境更加灵活,可应用在机械手控制、智能家居、互动娱乐、VR/AR等潜在交互应用中。