工作记忆作为暂时性保持和操作信息的记忆系统,是许多高级认知功能如推理、决策等的认知枢纽。但研究者很少关注工作记忆的多感觉信息加工机制。本研究利用行为学、电生理学和脑影像学等多种研究手段,依据经典的工作记忆延迟匹配范式,以具有生态学效度的听觉刺激和视觉刺激为实验材料,系统地探讨工作记忆多感觉信息编码的认知过程和大脑活动。1.行为学研究结果表明工作记忆多感觉信息编码促进随后的记忆提取。语义一致性多感觉信息编码条件的记忆提取速度明显快于单个感觉通道信息编码条件,而且也快于听觉刺激或视觉刺激与中性刺激配对的编码条件。2.在电生理学研究中,通过相同的研究范式收集被试在工作记忆多感觉信息编码阶段的脑电数据。事件相关电位分析显示在多感觉信息编码早期阶段出现与注意相关的成分如N1/P2(多感觉通道刺激出现的前200毫秒),叠加效应分析指出在多感觉信息编码后期阶段发生信息整合(多感觉通道刺激出现的230毫秒之后)。3.进一步的脑影像学研究结果揭示工作记忆多感觉信息编码激活注意相关的大脑皮层。BOLD信号的叠加效应分析指出多感觉信息整合涉及分布式的大脑神经网络,包括顶叶皮层的角回和右侧前楔叶、前额叶皮层的右侧额上回和前扣带回,以及感觉联合皮层如左侧枕中回、右侧颞上回等。贝叶斯动态因果模型的分析显示这些大脑区域以相互协同和分层组织的方式参与到整合过程。4.ERP和fMRI数据融合分析发现工作记忆多感觉信息编码早期阶段出现的成分主要源于背侧注意网络。在后期阶段的多感觉信息整合过程中,大脑的激活模式呈现出时间动态性特征,表现出从感觉皮层向高级联合皮层汇聚的趋势。总的来说,我们通过多种研究手段相结合的方法,初步探讨工作记忆多感觉信息编码的认知神经机制,综合各项研究结果可以得出以下结论:1.工作记忆多感觉信息编码具有记忆提取优势。2.工作记忆多感觉信息编码阶段发生信息整合。3.工作记忆多感觉信息编码涉及到不同的大脑功能性神经网络。4.工作记忆多感觉信息编码包括两个相对独立的加工阶段:早期的注意加工和后期的整合加工。