词汇识别中语音、字形、语义之间具有复杂的关系,但是从听觉角度考察这个问题的研究却相对较少。基于拼音文字的研究发现听觉词汇识别中字形存在自动化激活,在词汇识别中能够更好地表征语音。拼音文字的音节非常多,不同音节相互组合成单词,同音词在拼音文字中非常少,因此只要通达了词汇的语音,就可以通达语义。与拼音文字不同,汉字音节非常少,存在大量的同音字,在听觉词汇理解中,无法像拼音文字一样仅靠语音通达意义。汉字没有系统的音形对应规则,同时有大量的同形异义字(语素),因此在听觉词汇识别中必须有语义的参与。只有在双字词里才能解决音→形、音→义(语素)的问题。汉字可以独立的分离语音、字形,然而目前没有研究探讨字形在听觉词汇识别中的作用。此外,汉语语素研究仍然停留在行为研究阶段,没有研究探讨汉语语素加工的神经机制。本研究通过对字形、语素在听觉词汇识别中的认知及神经机制的考察,试图揭示听觉词汇识别中语音、字形、语义的复杂关系。　　研究一采用启动范式,操纵启动词-目标词(均为双字词)首字的音、形对应关系,使用行为及ERP实验技术,考察听觉词汇加工中字形的激活及其发挥作用的时间进程。包含四个条件:P+O+(面包-面孔)、P+0-(洪水.红旗)、P-O+(会议-会计)、P-O-(海带-电台),采用不需要外显的对字形加工的任务——词汇判断,要求被试听到第二个词后判断是真词还是假词。研究发现当启动词-目标词首字字形相同时,词汇判断反应时降低,当共享语音时,反应时延长,表明在汉语听觉词汇加工中字形会自动化激活并显著促进词汇识别。ERP结果发现共享字形引起N1峰值波幅及N400平均波幅显著下降,同时N400字形效应大小与个体阅读方面的形→义加工之间存在密切相关。表明字形发挥作用的时间非常早且持续时间非常长,字形的效应与个体阅读具有非常重要的关系,阅读中形→义的连接越自动化,听觉词汇加工中字形的自动化激活越强。　　研究二在考察字形效应基础上,控制启动词——目标词首字同音、同形,进一步采用启动范式考察汉语语素加工的认知神经机制。行为和ERP实验采用语素内隐任务,即目标词词汇判断,考察在听觉词汇判断任务中启动词.目标词首字语素对目标词真假词判断的影响。根据语素、整词语义的关系,设置三个条件:S+M+(晚餐-晚饭)、S-M+(高温.高空)、S-M-(面包-面孔)。行为研究发现,S-M+(高温-高空)相对于S-M-(面包.面孔)词汇判断的正确率上升,由于语素、整词语义之间相互影响,S-M+(高温-高空)的语义相关程度仍然显著高于S-M-(面包-面孔),目前无法判断是共享语素引起正确率变化还是整词语义的关系。进一步的:ERP研究发现,S-M+(高温-高空)反而引起了更大的N400,因此我们认为此效应是语素加工引起的,正是由于个体能够进行语素加工,所以语素、语义冲突条件S-M+(高温-高空)引起更强的N400成分。语素N400效应主要位于大脑左前部,语义N400位于大脑中、后部,二者存在地形图上的分离。同时发现,语素、整词语义冲突的N400效应与个体阅读中的字形自动化加工成负相关,表明个体如果能更好地完成语素加工,其对字形的依赖则降低。　　在行为和脑电上首先观察到了语素确实对词汇识别具有重要作用,但ERP无法考察精确的脑区定位。由于尚无人考察汉语语素加工的脑机制,因此我们在fMRI研究中采用外显的语素加工任务,试图看到语素加工的核心脑区。实验中采用主动语素判断任务,控制启动词-目标词首字语音、整词语义因素,均选择同音、整词语义无关词,同时将字形因素加进去,根据启动词.目标词首字语音、字形、语素的关系,实验包含三个关键条件:P+O+M+(语素相同,如“高温-高空”)、P+O+M-(语素不同,如“面包-面孔”)、P+O-M-(字形不同,如“洪水-红旗”)。我们假设在这三个实验条件中,当要求被试判断两个词首音节意思是否一致时,被试需要对双字词进行语素加工以便完成实验任务,同时由于条件之间字形、整词语义之间存在差异,语素加工也受到整词语义、字形的调节。同时加入完全相同的控制条件(Cont):海带-海带,我们认为在整词完全相同的条件中,被试主要采用整词加工的策略或仅依靠听觉声音物理属性即可完成语素判断任务,因此,与前三个条件不同,不需要进行语素加工,在语素加工的脑区表现出不激活或者激活下降。正是由于个体可以对复合词进行语素加工,因此被试能够意识到语素、整词语义之间的关系,如果二者存在冲突,那相对非冲突条件在负责加工一般认知冲突的脑区会表现出激活的差异,我们通过对比P+O+M+(如“高温-高空”)与P+O+M-(如“面包-面孔”)在左侧扣带回前部的激活说明这个问题。同时我们认为语素加工受到语音、字形的影响,通过对比P+O+M-(如“面包-面孔”)与P+O-M-(如“洪水-红旗”)在激活上的不同,考察同形语素与同音字的调节作用。研究一发现了听觉词汇识别中字形会自动化激活,在此基础上,对左侧梭状回进行感兴趣区域分析,考察其在语素加工中的作用,与研究一相互印证。研究发现,三个关键实验条件与控制条件相比在左侧额下回激活显著上升,且三个条件之间的激活存在梯度变化,表明左侧额下回在汉语语素加工中具有重要作用。另外,研究还发现语素的加工受整词语义及字形的影响,当语素与整词语义存在冲突时(P+O+M+,如“高温-高空”),加工难度最大,IFG的激活最强,当能靠字形做出语素分析时(P+O-M-,如“洪水-红旗”),难度相对降低,IFG的激活相对最低。由于存在语素加工,语素、整词语义冲突条件相对非冲突条件在左侧前扣带回激活上升,且其激活与个体阅读中字形的自动化通达成负相关,表明如果个体能更好地进行语素加工,对字形的依赖反而更低。进一步分析表明,语素加工是语音、语义、字形共唰作用的结果,当字形相同但语素不同时(P+O+M-(如“面包-面孔”)vs.P+O-M-(如“洪水-红旗”)),需要进行更多的语义分析,语义相关脑区如左侧角回、腹侧额下回等激活上升。当语音相同但字形不同时(P+O-M-(如“洪水-红旗”)vs.P+O+M-(如“面包-面孔”)),在语音脑区双侧颞上回激活上升。同时三个语素加工的关键条件都发现了表征字形的左侧梭状回的显著激活,表明在语素加工中个体会自动化激活字形,借助字形信息完成语素加工。语素加工中对字形的依赖与个体阅读中形-音-义的自动化加工有关,个体阅读自动化加工越好的人,在语素加工中对字形的依赖降低。　　综上所述,本研究的结果表明:(1)在汉语听觉词汇识别中,字形信息会得到自动化激活并显著促进词汇识别,字形的激活位于左侧梭状回,其激活与个体在阅读加工中形-音-义的自动化通达有重要关系,表明学习阅读使得形-音-义之间紧密联系,反过来影响听觉词汇的加工。(2)在词汇加工的时间进程及脑区定位上均发现语素在听觉词汇识别中具有重要作用,语素能调节大脑前部N400波幅,语素加工主要位于左侧额下回(BA45)。(3)音、形、义在语素加工中紧密联系,共同作用。听觉语素判断中字形表征区显著激活,且激活水平与阅读能力成显著负相关。对同形异义字的加工需要更多语义脑区的参与,对同音异形字的加工需要更多语音脑区的参与。