论文部分内容阅读
视觉是人类最为依赖的知觉系统,是神经科学最为重要的研究方向之一。在脑-机接口研究中,基于视觉诱发脑电的脑-机接口技术已经取得了巨大成功,是最有可能实现大规模实际应用的脑-机接口技术。当前多数基于视觉的脑-机接口系统都是通过施加某种外界刺激编码实现的,而大脑能够仅通过视觉区分各类场景信息,不需要额外的编码过程,通过脑电解码大脑编码视觉信息的过程,实现对视觉图像的重建,进而形成新的视觉脑-机交互方法,是解决这一问题的有效途径。
基于以上问题,本文提出了一种基于视觉的新型脑-机接口范式。不同于传统的时频编码范式,该范式不同视觉刺激之间的差异仅存在于呈现图形的不同,首先设置了8种图形,在这种情况下,理论上不同图形刺激所诱发脑电的差异将完全由刺激图像的空间分布决定。为了能够对该范式下的脑电进行识别与解码,分类识别系统选择了使用长短期记忆网络(Long Short-Term Memory, LSTM)构建,通过引入适用于LSTM特性的正则化方法,成功解决了脑电识别的过拟合问题,实现了对图形诱发脑电的分类识别,并对比了LSTM模型与其他脑-机接口常用机器学习算法的差异。最终本研究所构建的深度学习模型验证集正确率达到88.6%,明显优于作为基线方法的经典机器学习方法。
在此基础上,本研究首次使用层级关联性传播方法对神经网络模型进行了可视化,从输入的数据点级别解释了神经网络的判别依据,从生理学角度阐述了视图分类识别结果。本文进一步探索了将LSTM作为编码器,对抗生成网络作为解码器,进行视觉重建。使用条件约束等方法改进对抗生成网络的结构与优化过程,最终实现了视觉图像重建,重建的人为评价相似度平均在77%以上。本研究还尝试了混合图形解码,分析了解码结果与未来优化方向。
本文证明了图形可以作为一种有效的脑电诱发刺激,以及深度学习在脑电识别中的优势,同时也阐明了脑电通道之间空间动态性作为脑电特征的可行性,并实现了对视图的重建,本研究有望为视觉脑-机接口研究提供新的指令集扩展途径与数据分析方法。
基于以上问题,本文提出了一种基于视觉的新型脑-机接口范式。不同于传统的时频编码范式,该范式不同视觉刺激之间的差异仅存在于呈现图形的不同,首先设置了8种图形,在这种情况下,理论上不同图形刺激所诱发脑电的差异将完全由刺激图像的空间分布决定。为了能够对该范式下的脑电进行识别与解码,分类识别系统选择了使用长短期记忆网络(Long Short-Term Memory, LSTM)构建,通过引入适用于LSTM特性的正则化方法,成功解决了脑电识别的过拟合问题,实现了对图形诱发脑电的分类识别,并对比了LSTM模型与其他脑-机接口常用机器学习算法的差异。最终本研究所构建的深度学习模型验证集正确率达到88.6%,明显优于作为基线方法的经典机器学习方法。
在此基础上,本研究首次使用层级关联性传播方法对神经网络模型进行了可视化,从输入的数据点级别解释了神经网络的判别依据,从生理学角度阐述了视图分类识别结果。本文进一步探索了将LSTM作为编码器,对抗生成网络作为解码器,进行视觉重建。使用条件约束等方法改进对抗生成网络的结构与优化过程,最终实现了视觉图像重建,重建的人为评价相似度平均在77%以上。本研究还尝试了混合图形解码,分析了解码结果与未来优化方向。
本文证明了图形可以作为一种有效的脑电诱发刺激,以及深度学习在脑电识别中的优势,同时也阐明了脑电通道之间空间动态性作为脑电特征的可行性,并实现了对视图的重建,本研究有望为视觉脑-机接口研究提供新的指令集扩展途径与数据分析方法。