论文部分内容阅读
在脑认知的基础上,开展脑机互惠与脑机融合,既能够通过人工智能提供强大的执行动力和行为反馈能力,又可以通过传统生物智能提供强有力的认知逻辑,在医疗康复、军事场景和生活娱乐中具有广泛研究价值。本课题依托于国家自然科学基金面上项目:“一种常人参与的脑机融合方法及其在机器舞蹈中的应用(No.61673322)”,旨在通过非侵入式脑电信号(electroencephalograph,EEG),构建常人参与的双向脑机闭环接口(brain machine brain interfaces,BMBIs),并通过BMBIs完成机器人行为的指导、评判和修正。论文主要的具体理论与应用创新性贡献分别体现在如下四个方面的工作之中。首先,为解决EEG信号的应用场景与信号精度、采样率之间的矛盾,提出了一种基于生成式对抗网络和Wasserstein距离的生成式对抗网络(generative adversarial networks with Wasserstein distance,GANs/WGANs)模型的 EEG 信号超精度、超分辨率重建算法。该算法通过一种多维特征融合的误差计算函数完成GANs/WGANs模型的训练。本文在三种不同精度、不同采样率的EEG数据集上进行了对比实验。实验结果表明,GANs结构适合不同精度EEG信号的超精度、超分辨率重建,而WGANs结构适合相同精度的EEG信号超分辨率重建。采用本文提出的误差计算函数重建EEG信号,获得了稳定的分类性能提升。在实际BMBIs系统构建中,可事先采用高精度EEG信号数据集训练好重建模型,实现低精度EEG信号采集,重建后高精度EEG信号使用的应用场景。其次,为了确定机器人动作指导与评判时的标准运动范式,以保证机器人动作刺激产生最佳的大脑激活方式。本文探索了运动观察过程中速度模式对大脑镜像神经元(human mirror neuro system,hMNS)的激活影响。根据激活影响规律确定最佳速度模式的运动范式,可最大化激活hMNS,产生更高性能的BMBIs反馈。在实验范式设计中,依托于机器人平台,设计了四种不同速度招手动作作为运动观察范式。邀请六个被试者完成探索实验并采集EEG数据,通过卷积神经网络(convolutional neural networks,CNNs)结构分析采集到的EEG数据。实验结果表明,运动观察过程中视觉区激活程度高于运动感知区,但稳定性却弱于运动感知区。在视觉不应期[360,2,000 ms]范围内的重复运动刺激中,提升运动速度有利于提升hMNS激活程度。当速度模式超过视觉不应期范围,则会导致hMNS激活程度迅速下降。因此,在机器人动作设计中,应保证其在视觉不应期内的最大运动速度模式,保证机器人动作刺激产生最佳的大脑激活方式。还有,为提升基于运动想象的脑机接口分类准确率及信息传输速率,提出了一种融合空域-频域-时域特征的EEG信号分类方法。该方法首先提取稳定的滤波器组共同空间模式(filter bank common spatial patterns,FB-CSPs)特征。随后,将FB-CSPs特征输入至循环神经网络(recurrent neural networks,RNNs)中提取时域特征,经过提取后获得融合空域-频域-时域特征,该特征显著提升了基于运动想象脑机接口的分类性能。在公开数据集上的实验结果表明,适量的RNNs隐含层能够提升分类性能。因此,实际分类中根据数据形式选择合适隐层个数,并采用滑动窗口剪切技术,将EEG信号整个信号数据剪切成与隐层个数匹配的时间片段。剪切后的EEG片段能适配RNNs结构,提取更稳定时域特征,并进一步提升分类准确率和ITR。基于融合空域-频域-时域特征的EEG信号分类方法在构建基于运动观察BCIs和运动想象BCIs的BMBIs系统中将起到重要作用。最后,在BMBIs系统基础上,本文选择基于偏好选择的行为评判深度强化学习(RL-teacher)作为机器人行为评判和修正算法。为解决传统RL-teacher偏好选择时间复杂度高、环境限制大等缺点,本文提出了一种基于错误相关电位脑机接口的偏好选择获取方法。该方法通过标准的错误相电位(error related potentials,ErrPs)实验刺激范式,获取不同被试者的选择偏好。ErrPs方式采用统一的实验范式完成偏好提取,并采用循环3D卷积神经网络(recurrent 3D convolutional neural networks,R3DCNNs)结构完成ErrPs的分类,可保证时间复杂度在实验范式控制范围内。此外,直接采用BCIs的方式可以免除严格的使用环境,在开放的环境中也可以稳定为RL-teacher强化学习系统给出稳定的偏好选择,基于行为评判的强化学习修正机器人动作至目标动作。总之,本课题分别在EEG信号超精度、超分辨率重建,运动观察范式设计,运动想象分类性能提升以及基于错误相关电位(error related potentials,ErrPs)的深度强化学习四个方面展开了研究。通过信号重建解决了便携式低精度EEG信号的实际应用问题,运动观察范式设计解决了运动观察BCIs设计问题,在运动想象分类性能提升上构建了 BMBIs系统。最后,基于构建的BMBIs系统,采用ErrPs指导深度强化学习系统,通过计算方式实现了基于双向脑机闭环接口的机器人行为指导、评判和修正。