过去几十年中话语分析侧重分析纯文本,而忽视了图像,动画,视频等信息。多模态话语分析的提出和发展,使得人们能够更加深入解读不同话语符号组合下的潜在意义和功能。人们在多模态话语分析中往往是在分析者的角度解读,却很少研究作为解读者的解读机制。而在很多行为学研究中,男女性别差异作为研究变量往往影响认知表现,尤其是在视觉空间认知方面,男性比女性表现更好,因此,人们在做研究时,往往也将性别差异作为重要考量。本研究以校徽这一多模态语篇为例,以解读者的角度探索男女性别差异对多模态特征早期加工的神经机制的影响,为多模态解读提供新视角。本文将以事件相关电位作为实验研究技术,通过记录N1,P1,P2等早期时间窗口,研究性别对多模态特征早期加工的影响。实验中共有43名被试,其中20名女性,23名男性。实验采用2(性别:男,女)×4(刺激类型:花,完整校徽,名字校徽,图片校徽)×4(电极位置:A1/2,01/2,T5/6,TP7/8)×2(脑半球:左半球,右半球)的多因素混合设计,采用被动觉察范式,让被试计数灰色方块。实验采用E-prime3.0软件编程,使用Neurolab记录脑电,Neurolab和EEGlab进行数据处理,并将输入SPSS 17.0进行统计分析。本研究发现,首先,在不同的时间窗口,男女对不同的校徽模态加工时长不同。在100ms以内,男性和女性并无明显差异,但是在200ms左右,女性对校徽加工的时长明显长于男性。这一差异可能是由于人在早期的图片文字加工中,100ms以内属于无意识加工阶段,还不能有效辨识图片和文字的信息,当意识逐步开始进入到语义提取阶段,即200ms左右,男女才会出现加工的性别差异。此外,男女在100ms对校徽的多模态加工呈现相同的顺序,即名字校徽最先被识别出来,其次是花,然后是图形校徽最后是完整校徽,而在200毫秒左右性别与刺激类型没有出现交互效应。这说明在此阶段内,完整校徽作为多模态形式最不易辨认,同时印证了前人对图片和文字加工顺序研究,文字快于图片。最后,P1女性的振幅小于男性,即对所有的刺激类型,男性的认知反应要大于女性,而女性在此时出现右脑侧化,即右脑反应强度比左脑大,男性并未出现此差别。大脑偏侧化一直存在于性别差异研究中,但此前对它更多的学者认为别文字,图片时,女性左脑反应强度大于右脑,只有在面孔识别当中,发现了右脑侧化。本研究拓宽了多模态研究领域,从接受者男女差异的角度解读了多模态早期加工过程,不仅对早期图文加工的解码过程有了新的认识,又可以为男女性别差异研究提供新的证据,为未来的性别对多模态加工的影响开拓道路。