随着科技的发展,仅仅使用单一模态传达意义的旧有模式已逐渐不能满足人们日益增长的需求,除却语言这一传统表意方式外,各种符号和模态诸如图像、声音等纷纷参与到人们的日常交际活动中。因而,多模态话语应运而生。在这一领域的国外研究中,以20世纪90年代Kress与Van Leeuwen所提出的视觉语法最具有代表性。而国内的多模态话语分析研究可分为两类,一类是对国外理论基础及研究成果的介绍,以李战子、张德禄等为代表,另一类则是以视觉语法为依托研究诸如广告,海报等静态语篇,对于研究融合视听模态的动态语篇鲜少涉及。本研究立足于前人研究的不足,选取动态电影语料《美食,祈祷,恋爱》为研究文本,摒除针对图像三大元功能逐一分析的套路,而是把研究重点放在多模态之间的互动上,旨在从多模态视角出发探讨动态语篇中的视觉模态与听觉模态是怎样互动配合来构建整体意义的。具体操作流程为：首先,借助技术手段将所选语料切割为视频片断,并选取包含多种视听模态互动类型的视频片断为研究对象,采用定性分析的研究方法。其次,针对每一个选取的视频片断,借用视觉语法来分析图像,借鉴听觉语法的重要概念来处理声音,最后,以张德禄提出的多模态话语分析框架为基础来揭示电影语料中视觉模态与听觉模态的相互关系,从而探讨视听模态是如何互动来构建文本整体意义的。本研究的理论意义在于突破了前人在动态语料方面研究的局限,增进了语言学(符号学的一部分)与相关学科诸如电影学或是传播学的关系,并基于它们的联结从一个新的视角来分析电影语料。实用价值可以归纳为三个方面：第一,本研究采用了一个新的电影语料来验证多模态话语分析理论的实用性；第二,本研究深入探讨了电影语料中视觉模态与听觉模态的互动；第三,本研究为欣赏电影语料提供了一个全新的视角。本研究的理论基础由四部分组成。首先,韩礼德的系统功能语法为后来逐渐发展起来的多模态话语分析理论打下了坚实的基础。韩礼德认为除了语言外,其他的符号形式也可以用来表意,他指出了不同符号形式可以相互合作传达意义的可能性。而且,他提出了语言的三大元功能,即概念功能,人际功能以及语篇功能。深受韩礼德的启发,Kress与Van Leeuwen于1996年提出了视觉语法,并在2006年完善了这一理论。他们认为图像像语言一样,也应该具备三大元功能。他们提出了图像的三大意义：再现意义,互动意义和构成意义。随后,Van Leeuwen (1999)在他的著作《言语,声响,音乐》里对听觉模态进行了深入的探讨。根据聆听者位置的不同,他把声音分为角色音,地面音和场景音。在前人研究的基础上,中国语言学家张德禄(2009)为多模态话语分析提出了一套理论框架,其中,他尝试探讨了多模态之间的关系。他认为模态与模态之间的关系大致可以非为两类：互补关系和非互补关系。经研究表明,在所选电影语料《美食,祈祷与恋爱》中,视觉模态与听觉模态的互动关系可以分为四大类：视听整合性,视听互补性,视听非互补性以及视听单一性。其中,视听整合性包括同步,异步和对位。视听互补性包括强化关系和非强化关系,强化关系在所选语料中的体现为突出,主次和扩充。非强化关系体现为协调与联合。视听非互补性在语料中的体现为交叠,内包与语境交互。而视听单一性的体现为静默,即只有视觉模态的使用。也正是由于视觉模态与听觉模态多样化的互动关系帮助建构了电影语篇的整体意义。然而,由于研究对象为电影语料,本研究仅就视觉与听觉模态之间的互动关系进行了探讨,针对听觉模态的各种声音类型之间的关系研究仍有欠缺；听觉语法与多模态理论框架方面的理论还不够成熟,仍需完善；另外,所选电影语料与其同名著作之间的差异可进一步探讨,还望今后的研究能够在上述方面有更大的突破。