多模态话语(Multimodal discourse)是指超越作为社会符号的语言,使用两种或者多种符号资源(语言、图像、音乐、空间、手势等)完成意义建构的社会实践。在全球视觉文化冲击的今天,多模态性(Multimodality)日益成为日常生活不可或缺的一部分,对多模态话语的研究同时具有理论价值与现实意义。本研究以2004年《大学英语课程教学要求》(试行)有关要求为指导,以学生适应机考四六级中的多模态话语内容为前提,旨在借助影视材料中的纯音频,音频+视频,音频+视频+字幕三种多模态话语的输入方式对学生进行口语输入强化训练,以期学生的口语输出得到有效的提高,通过口语测试结果分析多模态口语输入教学与口语输出的相关性,以指导后续的课堂教学。此研究为质化与量化相结合的实证研究,以定量研究为主。研究持续2个月,共计32课时,8部影视材料,每部影视材料试验课时为4课时。参与实验的学生来自西北农林科技大学创新学院植科1班的30位学生,其中男生17人,女生13人。为了实验结果具有可重复性,我们从概念界定、概念操作化和具体抽样方法上都有明确的操作方法,以便于重复测量。在本研究的样本抽取方法中,首先选60名学生,做一次口语测试,即口语前测,得到原始口语成绩,其最低分数为50分,最高分数为80分。从中选取口语值为60-70之间的30位同学作为实验对象,按照简单随机抽样法把他们分为三组,每组10人。在网络教室对三组学生实施不同的模态输入,具体方式为:第一组接受纯音频输入,第二组接受音频+视频输入,第三组接受音频+视频+字幕输入。在三种不同模态输入后每组学生进行口语输出,输出方式为讲述所输入模态的内容,教师根据学生口语输出情况进行打分。在实验进行前和结束后对30位学生进行口语测试,口语测试试题为全国英语等级考试三级试题。口语测试由两名教师打分,一名教师在考试进行时打分,另一名在考试结束后根据录音打分,取两名教师分数的均值为学生的最终成绩。此外,学生利用《新视野大学英语》试听说教程平台中所提供的《学生英语能力自评和互评表》分别在实验前和实验后进行口语自评。将两次口语测试成绩和自我评估成绩结合分组实验成绩与问卷调查结果进行分析,采用配对样本T检验(Paired Sample Test)比较学生实验前和实验后的成绩差异,分析多模态话语输入与口语输出之间的相关关系。实验结果表明,“音频”、“音频+图像”和“音频+图像+字幕”三种模态组合输入后学生口语成绩提升量之间具有显著差异,并且这个差异可以推论总体。三种模态输入后,学生的口语成绩均有不同程度的提升,说明本研究所选的三种模态组合对学生口语提升都起着显著的作用。其中提升速度最快的是“音频+图像+字幕”模态,输入后学生口语成绩平均提升5.4分,其次是“音频+图像”模态,输入后学生口语成绩平均提升3.3分,而“音频”模态输入后,学生口语成绩提升的速度最慢,平均仅提升1.7分。进一步分析显示,Eta系数为0.955,Eta2系数为0.913,说明“模态”与“模态输入后学生口语成绩提升值”之间存在较强的正向相关关系,如果用输入的模态组合来预测学生口语提升的成绩,可以减小91.3%的误差,也说明模态对于学生口语成绩的提高具有显著的作用。此外,问卷调查结果也显示学生对实验中所采用的教学方式持支持态度,认为这种教学方式能够调动积极性,激发学习兴趣。学生的两次自评结果的差异也表明实验后学生的交际能力进一步加强。然而,本研究也有其局限性和不足之处:如样本量小(人数少),样本的英语水平相对较好,因此研究结果是否普遍适用还有待于深入研究,需要以后长期实践积累数据。总之,本研究表明多模态话语输入能够在一定程度上提升学生的口语成绩,能够激发学生的学习兴趣,调动他们的积极性。实验数据表明多模态话语输入和口语输出的相关性研究是可行的,因此今后可扩大实验对象范围,延长实验时间,对两者的相关性进行深入的研究。