论文部分内容阅读
视听觉作为人类获取信息的两大重要模态在神经心理学和脑机接口等多个领域被广泛研究,尤其是多数研究主要针对视听协同关系开展,目前基于视觉、听觉间的竞争关系研究仅有部分神经心理学方面的研究,而视听刺激的BCI系统所呈现的视听竞争响应机制研究很少。本文重点研究视听信息语义相关性不同状态下,大脑对视听干扰刺激的竞争响应特性。本文将听觉刺激与两种视觉刺激结合,分别构成视听语义相关干扰范式(Relevant-Disturbance,RD)和视听语义无关干扰范式(Irrelevant-Disturbance,ID)。主要从ERP的时空特征、目标刺激与非目标刺激的分类识别效果以及脑网络特征三个方面分析干扰相关性、时间间隔、注意模态对大脑响应的影响。1.通过ERP时空分析方法发现视听无关干扰情况下的ERP幅值高于相关干扰,表明相关干扰下对目标的识别被抑制。视觉注意范式下的ERP要明显高于听觉注意范式,表明不同的注意模态会引起ERP波形的不同,视觉相对于听觉更容易诱发高幅值ERP信号。另外,不同刺激间期的研究发现,长时间间隔的ERP幅值在额、顶区域较高,短时间间隔下由于重复呈现的视听双通道刺激使得ERP的幅值和频率受到影响,呈现周期性变化。2.利用SVM对各范式目标刺激与非目标刺激进行分类发现,视觉注意任务的分类正确率显著高于听觉注意任务,说明视觉通道在多模态中占据的优势地位,而语义相关性的干扰变化并未对分类结果造成显著性影响,说明分类效率不一定与ERP幅值呈正相关。3.构建偏定向相干脑网络,发现短刺激间期下视听相关干扰性对脑网络连接具有明显的影响,且相对长刺激间期范式在颞-枕区连接更为密集,表明或许在快速刺激中被试对于更强竞争的处理需要更多的认知资源调动。综上所述,本研究设计了语义相关干扰和语义无关干扰两种视听竞争脑机接口实验范式并采集了脑电信号,进而通过事件相关电位、脑网络等分析研究了语义相关性、视听注意通道、刺激时间间期等因素对大脑响应特性的影响。研究发现语义相关性和视听注意通道对大脑认知信息处理及分类性能具有较为显著的影响。该结果有助于深入理解和解释神经心理学和脑机接口领域关于双模态刺激的研究差异,提高脑机接口效率提供理论支持。