论文部分内容阅读
摘要多媒体时代的到来使语篇构成呈多模态化。应运而生的多模态话语分析,逐渐成为语言学研究的热点之一。本文以从韩礼德的系统功能语言学基础上发展起来的视觉图像语法为理论,以一例美国家喻户晓的漫画为分析蓝本,进行多模态话语的社会符号学分析,以期对读者多模态识读能力的提高有所帮助。
关键词:多模态再现意义互动意义构成意义
中图分类号:J519文献标识码:A
一引言
随着多媒体和计算机技术的飞速发展,人类交际活动中多种符号同时出现的现象越来越突出,人类的语篇世界也呈现出数字化和多模态化的特点。那些以图像符号为构成元素、以视觉可以感知的样式为外在表现形态的“视觉文化”,在20世纪80年代兴起,图文并茂的多模态交际手段开始蓬勃发展并冲击着人们传统的思维方式和欣赏习惯。
国内外的大批学者纷纷撰文指出:在全球化背景下,视觉文化及视觉文化传播,正在成为这个时代越来越重要的文化现象。在这个背景下,胡壮麟也指出,在人类进入社会符号学的多模态化的新世纪,多模态识读能力的培养应引起重视。
漫画主要由“画”配以说明性的语言构成,是一种图文并茂、以图为主、语言表达为辅的文学形式,是一种以“画”为主导模态,语言符号为辅助模态的多模态语篇。因此运用多模态语篇的分析模式对漫画的语篇意义进行分析,不失为一种较为全面和透彻的分析方法。
二多模态语篇分析的理论基础
1、多模态语篇及多模态语篇分析
语篇的多模态观(multimodal perspective)指的是各种符号资源(如有声语言、形象、声音、设计、动作等)共同参与我们日常的人际交往活动。在这种语境下,模态可以定义为参与交际的所有渠道和媒介,除了传统的语言符号,它还包括图像、颜色、音乐、技术等符号系统。这些模态的选择和使用可以形成一种合力,共同引导读者理解语篇和语境意义。
多模态语篇分析方法兴起于20世纪90年代,以克瑞斯和凡利文(Kress and van Leeuwen)为代表。多模态语篇分析方法以系统功能语言学理论为基础,尝试把系统功能语言学对于语言研究的方法,应用到其他的一些符号资源(如面部表情、手势、图像、音乐等)的研究上。多模态语篇分析是对一个语篇或一个交际事件(如一则杂志广告的文本和形象,或者一部电影的影像、音乐和有声文献等)的几个或所有不同符号模态的分析。多模态分析的目的在于把由这些不同交流模态所体现的再现意义、互动意义和构成意义融合起来考虑,分析它们是怎样共同协作,创造出一个完整的语篇或交际事件。
2、多模态语篇分析的功能语言学基础
多模态话语分析从系统功能语言学那里接受了语言是社会符号(social semiotic)和意义潜势(meaning potential)的观点,认为语言以外的其他符号系统也是意义的源泉;系统功能语言学对于语言研究的方法,同样也可以应用到其他符号资源(图像,音乐,手势)的解读,其他符号资源同样也具有语言的系统性和功能性。
在多模态语篇分析方法中,Kress and van Leeuwen 的研究最为突出和具有代表性。在将图像也看作社会符号的前提下,他们将Halliday 功能语言学中的纯理功能思想延伸到视觉模式,创建了以“再现意义”、“互动意义”和 “构成意义”为核心内容的分析图像的视觉语法(the grammar of visual design)。其中再现功能(representational metafunction)对应于概念功能,包括叙事的再现(narrative representations)和概念的再现(conceptual representations);互动功能(interactive metafunction)对应于人际功能,涉及接触、社会关系、态度三要素和情态(modality);构成功能(compositional metafunction)则相当于语篇功能。由此,系统功能语言学的理论开始被运用到除了各种语言语篇以外的符号资源,如对视觉图像、声音、印刷体式、建筑设计、身体动作、电子媒体和电影等多模态交际手段的研究。
三多模态分析对漫画语篇的解读
本文试图运用多模态语篇分析的方法,分别对所选取的漫画语篇的“再现意义”、“互动意义”和“构成意义”进行分析,以证明多模态语篇分析方法在漫画语篇意义解读中的重要作用。本文分析的漫画摘自于美国著名的漫画家Brad Anderson所创造的系列漫画MARMADUKE。在这组系列漫画中,MARMADUKE是Winslow家养的大宠物狗。漫画作者赋予了MARMADUKE大量的其他宠物狗所不具备的希奇古怪的行为特征,从而赋予了这组漫画一种既现实又虚幻的艺术色彩。
在我们所选取的这副漫画作品中,冰箱、沙发,壁画(概念再现)等构成了故事发生的特定背景——Winslow家的客厅。位于漫画中心位置的女主人Dottie 正大步走向位于漫画左边的大冰箱,冰箱门大开,而MARMADUKE大半个身子钻在冰箱里,只露出两条后腿和不停摇动的尾巴。冰箱前的地面上则是由碗、碟、杯子和各种汤水组成的一片狼藉。此时,女主人Dottie 虽然整个身体是朝向冰箱,试图去制止MARMADUKE,但她的面部却是朝向图像右边沙发所坐的女人。从这个女人手捧茶杯的动作以及女主人对她的态度可以判断,她是来Winslow家做短暂拜访的客人。而在图画的下方有一行文字“Excuse me. I have to stop a raid on the refrigerator”。下面,我们将分别分析这副漫画的再现意义、互动意义与构成意义。
1、漫画的再现意义
对应于系统功能语法的概念意义,Kress and Van Leeuwen 提出了多模态语篇的再现意义。他们将再现意义区分为叙事和概念两大类。其中叙事再现包括行动过程、反应过程及言语和心理过程三类。概念再现则相当于功能语法中所描述的关系过程和存在过程。而将叙事再现与概念再现区分开的唯一要素则是判断图像中有无矢量的产生。
在图像中,矢量是代表过程与方向的力量,图像中的参与者被矢量这条无形的线条相连,观看者则可以通过图像中的矢量关系判断参与者之间的互动关系。“在图片中,使图中的元素形成斜线,通常是强烈的对角线,就形成矢量。矢量是叙事图像的标志。在叙事再现的行动过程中,动作者即为发出矢量的参与者。”在图像中,他们通常最为突出。
在我们选取的这副漫画中,位于图像正中间的女主人是叙事语篇的主人公,也是矢量的主要发出者。她身体的正面与位于图像左上角的冰箱形成一条无形的斜线,即矢量,表明了女主人此时的走向及所关注的东西:尽快阻止MARMADUKE对冰箱的扫荡。
这个矢量关系构成了叙事在现中的行动过程(action process),女主人相当于及物系统中的行为者(actor),而冰箱和狗则充当了行为的对象(goal)。而与此同时,女主人与位于图像右下角、坐在沙发上的女客人面面相向,她们两个的视线在空中成斜线相交,形成另一个矢量,这个矢量关系构成了叙事再现的反应过程(reaction process)。这个反应过程表明了女主人与客人之间的信息交流与感知,也表明了女主人对客人的歉意,女主人相当于反应者(reactor),而客人则相当于现象(phenomena)。
2、漫画的互动意义
对应于功能语法的人际意义,Kress and van Leeuwen 在其视觉语法框架中,用互动意义表示功能语言学中的人际纯理功能的含义。具休地说,互动意义是关于图像的制作者、图像所表征的事物(包括人)和图像的观看者之间的关系,同时提示观看者对表征事物应持的态度。互动意义由四个要素构成,它们是接触、社会距离、态度和情态。这四要素分别自成体系,体系内每个要素的变化和选择都会最终影响图像与观看者之间的互动关系。
(1) 由“接触”所体现的图像参与者与观看者之间的相互关系
在图像分析中,接触指图像中的参与者通过其目光的指向与观看者之间形成的一种想象中的接触。根据图像中的参与者与图像观看者之间有无直接的视线接触,Kress and Van Leeuwen 将接触分为“索取”(demand)和“提供”(offer)两种关系。如果图像的参与者与观看者有直接的目光接触,则表明图像中的参与者向观看者有所“索求”,如,信息、意见、评论、看法等,它是要求观看者深度介入并参与到图像表述的事件与活动中来。相反,如果图像的参与者与观看者没有直接的目光接触,则认定他们之间不存在想象中的人际关系,是“提供”类图像,图像中的参与者就像是在橱窗中展览的标本供观看者欣赏、思考或娱乐。
在我们所选取的这副漫画中,图像中的参与者与观看者之间均无直接的目光交流,因此,图像中参与者与观看者之间是典型的“提供”类接触。由于漫画是对现实生活的一种夸张型的再现,领略一件漫画并把握它的深层意义,需要借助欣赏者的联想、想象以及推理、判断等心理过程,才能把握到它逻辑意义和情感意义。因此漫画中所体现的“提供”类接触为观看者提供了充足的空间去品味与思考,使观看者在轻松的气氛中领略图像中深刻的内涵。
(2)由“社会距离”所体现的图像参与者与观看者之间的社会关系
图像中参与者与观看者之间的亲疏关系,取决于图像的社会距离。它通常与镜头取景的框架大小有关。亲近距离:只看得见脸部、头部;个人近距离:头部和肩部;个人远距离:腰部以上;社会近距离:整个人;社会远距离:占据整个取景框架一半左右的整个人;公共距离:占据整个取景框架不到一半的整个人。正如社会关系影响社会距离,图像中参与者取景距离的长短,则决定了参与者与观看者之间的社会关系和社会距离。
在我们选取的这副漫画中,漫画的创作者采用的是社会远距离,观看者可以清晰地看到画面中参与者整个人以及周围的环境。这表明漫画中的主要人物与观看者之间不是一种亲密的私人关系,这种关系的确立也符合漫画作为一种夸张的娱乐文化的特征。
(3)由“态度”所体现出的图像参与者介入程度及与观看者之间的权势关系
视觉语法中的态度,指图像观看者与图像中的参与者对所叙述事迹的介入程度及参与者与观看者之间的权势关系。图像的态度通过“视角”来体现,表达对参与者所持的主、客观态度。从水平的视角看,正面角度给观看者带来的是感同身受、融人其中的感觉,而倾斜的角度则表现出作为旁观者的漠然与事不关己;从垂直的视角看,俯视代表观看者处于强势,仰视则代表了观看者处于弱势,而平视表示观看者和参与者相对平等的关系。
在选取的这副漫画中,观看者与参与者是一种侧面、平视的视角。图像中的女主人略微倾斜的身体,表明了她作为漫画中的参与者与信息提供者所具有的超脱介入,从而也为观看者创造了一种轻松的氛围。而创作者所选取的水平视觉,则说明了观看者与图像参与者之间平等的社会关系。
四 结语
与大众的真实形象相区别,漫画形象的虚拟性、夸张性和抽象性都更加决定了它是形象符号的集合体,具有超越本体指称他意的功能,有着更深层的间接性和更深广的意义。漫画形象的许多造型充满怪诞的意味,却是引人注目最直接的因素。多模态语篇分析,为我们有效理解这些漫画形象的象征意蕴提供了新的途径,而读者则可以通过提高自身的多模态语篇解读能力,更加充分的体会动画形象的象征意味。
参考文献:
[1] 李战子:《多模式话语的社会符号学分析》,《外语研究》,2003年第5期。
[2] 胡壮麟:《社会符号学研究中的多模态化》,《语言教学与研究》,1997年。
作者简介:魏晓茹,女,1969—,河南偃师人,硕士,讲师,研究方向:社会语言学、应用语言学,工作单位:河南科技大学外国语学院。
关键词:多模态再现意义互动意义构成意义
中图分类号:J519文献标识码:A
一引言
随着多媒体和计算机技术的飞速发展,人类交际活动中多种符号同时出现的现象越来越突出,人类的语篇世界也呈现出数字化和多模态化的特点。那些以图像符号为构成元素、以视觉可以感知的样式为外在表现形态的“视觉文化”,在20世纪80年代兴起,图文并茂的多模态交际手段开始蓬勃发展并冲击着人们传统的思维方式和欣赏习惯。
国内外的大批学者纷纷撰文指出:在全球化背景下,视觉文化及视觉文化传播,正在成为这个时代越来越重要的文化现象。在这个背景下,胡壮麟也指出,在人类进入社会符号学的多模态化的新世纪,多模态识读能力的培养应引起重视。
漫画主要由“画”配以说明性的语言构成,是一种图文并茂、以图为主、语言表达为辅的文学形式,是一种以“画”为主导模态,语言符号为辅助模态的多模态语篇。因此运用多模态语篇的分析模式对漫画的语篇意义进行分析,不失为一种较为全面和透彻的分析方法。
二多模态语篇分析的理论基础
1、多模态语篇及多模态语篇分析
语篇的多模态观(multimodal perspective)指的是各种符号资源(如有声语言、形象、声音、设计、动作等)共同参与我们日常的人际交往活动。在这种语境下,模态可以定义为参与交际的所有渠道和媒介,除了传统的语言符号,它还包括图像、颜色、音乐、技术等符号系统。这些模态的选择和使用可以形成一种合力,共同引导读者理解语篇和语境意义。
多模态语篇分析方法兴起于20世纪90年代,以克瑞斯和凡利文(Kress and van Leeuwen)为代表。多模态语篇分析方法以系统功能语言学理论为基础,尝试把系统功能语言学对于语言研究的方法,应用到其他的一些符号资源(如面部表情、手势、图像、音乐等)的研究上。多模态语篇分析是对一个语篇或一个交际事件(如一则杂志广告的文本和形象,或者一部电影的影像、音乐和有声文献等)的几个或所有不同符号模态的分析。多模态分析的目的在于把由这些不同交流模态所体现的再现意义、互动意义和构成意义融合起来考虑,分析它们是怎样共同协作,创造出一个完整的语篇或交际事件。
2、多模态语篇分析的功能语言学基础
多模态话语分析从系统功能语言学那里接受了语言是社会符号(social semiotic)和意义潜势(meaning potential)的观点,认为语言以外的其他符号系统也是意义的源泉;系统功能语言学对于语言研究的方法,同样也可以应用到其他符号资源(图像,音乐,手势)的解读,其他符号资源同样也具有语言的系统性和功能性。
在多模态语篇分析方法中,Kress and van Leeuwen 的研究最为突出和具有代表性。在将图像也看作社会符号的前提下,他们将Halliday 功能语言学中的纯理功能思想延伸到视觉模式,创建了以“再现意义”、“互动意义”和 “构成意义”为核心内容的分析图像的视觉语法(the grammar of visual design)。其中再现功能(representational metafunction)对应于概念功能,包括叙事的再现(narrative representations)和概念的再现(conceptual representations);互动功能(interactive metafunction)对应于人际功能,涉及接触、社会关系、态度三要素和情态(modality);构成功能(compositional metafunction)则相当于语篇功能。由此,系统功能语言学的理论开始被运用到除了各种语言语篇以外的符号资源,如对视觉图像、声音、印刷体式、建筑设计、身体动作、电子媒体和电影等多模态交际手段的研究。
三多模态分析对漫画语篇的解读
本文试图运用多模态语篇分析的方法,分别对所选取的漫画语篇的“再现意义”、“互动意义”和“构成意义”进行分析,以证明多模态语篇分析方法在漫画语篇意义解读中的重要作用。本文分析的漫画摘自于美国著名的漫画家Brad Anderson所创造的系列漫画MARMADUKE。在这组系列漫画中,MARMADUKE是Winslow家养的大宠物狗。漫画作者赋予了MARMADUKE大量的其他宠物狗所不具备的希奇古怪的行为特征,从而赋予了这组漫画一种既现实又虚幻的艺术色彩。
在我们所选取的这副漫画作品中,冰箱、沙发,壁画(概念再现)等构成了故事发生的特定背景——Winslow家的客厅。位于漫画中心位置的女主人Dottie 正大步走向位于漫画左边的大冰箱,冰箱门大开,而MARMADUKE大半个身子钻在冰箱里,只露出两条后腿和不停摇动的尾巴。冰箱前的地面上则是由碗、碟、杯子和各种汤水组成的一片狼藉。此时,女主人Dottie 虽然整个身体是朝向冰箱,试图去制止MARMADUKE,但她的面部却是朝向图像右边沙发所坐的女人。从这个女人手捧茶杯的动作以及女主人对她的态度可以判断,她是来Winslow家做短暂拜访的客人。而在图画的下方有一行文字“Excuse me. I have to stop a raid on the refrigerator”。下面,我们将分别分析这副漫画的再现意义、互动意义与构成意义。
1、漫画的再现意义
对应于系统功能语法的概念意义,Kress and Van Leeuwen 提出了多模态语篇的再现意义。他们将再现意义区分为叙事和概念两大类。其中叙事再现包括行动过程、反应过程及言语和心理过程三类。概念再现则相当于功能语法中所描述的关系过程和存在过程。而将叙事再现与概念再现区分开的唯一要素则是判断图像中有无矢量的产生。
在图像中,矢量是代表过程与方向的力量,图像中的参与者被矢量这条无形的线条相连,观看者则可以通过图像中的矢量关系判断参与者之间的互动关系。“在图片中,使图中的元素形成斜线,通常是强烈的对角线,就形成矢量。矢量是叙事图像的标志。在叙事再现的行动过程中,动作者即为发出矢量的参与者。”在图像中,他们通常最为突出。
在我们选取的这副漫画中,位于图像正中间的女主人是叙事语篇的主人公,也是矢量的主要发出者。她身体的正面与位于图像左上角的冰箱形成一条无形的斜线,即矢量,表明了女主人此时的走向及所关注的东西:尽快阻止MARMADUKE对冰箱的扫荡。
这个矢量关系构成了叙事在现中的行动过程(action process),女主人相当于及物系统中的行为者(actor),而冰箱和狗则充当了行为的对象(goal)。而与此同时,女主人与位于图像右下角、坐在沙发上的女客人面面相向,她们两个的视线在空中成斜线相交,形成另一个矢量,这个矢量关系构成了叙事再现的反应过程(reaction process)。这个反应过程表明了女主人与客人之间的信息交流与感知,也表明了女主人对客人的歉意,女主人相当于反应者(reactor),而客人则相当于现象(phenomena)。
2、漫画的互动意义
对应于功能语法的人际意义,Kress and van Leeuwen 在其视觉语法框架中,用互动意义表示功能语言学中的人际纯理功能的含义。具休地说,互动意义是关于图像的制作者、图像所表征的事物(包括人)和图像的观看者之间的关系,同时提示观看者对表征事物应持的态度。互动意义由四个要素构成,它们是接触、社会距离、态度和情态。这四要素分别自成体系,体系内每个要素的变化和选择都会最终影响图像与观看者之间的互动关系。
(1) 由“接触”所体现的图像参与者与观看者之间的相互关系
在图像分析中,接触指图像中的参与者通过其目光的指向与观看者之间形成的一种想象中的接触。根据图像中的参与者与图像观看者之间有无直接的视线接触,Kress and Van Leeuwen 将接触分为“索取”(demand)和“提供”(offer)两种关系。如果图像的参与者与观看者有直接的目光接触,则表明图像中的参与者向观看者有所“索求”,如,信息、意见、评论、看法等,它是要求观看者深度介入并参与到图像表述的事件与活动中来。相反,如果图像的参与者与观看者没有直接的目光接触,则认定他们之间不存在想象中的人际关系,是“提供”类图像,图像中的参与者就像是在橱窗中展览的标本供观看者欣赏、思考或娱乐。
在我们所选取的这副漫画中,图像中的参与者与观看者之间均无直接的目光交流,因此,图像中参与者与观看者之间是典型的“提供”类接触。由于漫画是对现实生活的一种夸张型的再现,领略一件漫画并把握它的深层意义,需要借助欣赏者的联想、想象以及推理、判断等心理过程,才能把握到它逻辑意义和情感意义。因此漫画中所体现的“提供”类接触为观看者提供了充足的空间去品味与思考,使观看者在轻松的气氛中领略图像中深刻的内涵。
(2)由“社会距离”所体现的图像参与者与观看者之间的社会关系
图像中参与者与观看者之间的亲疏关系,取决于图像的社会距离。它通常与镜头取景的框架大小有关。亲近距离:只看得见脸部、头部;个人近距离:头部和肩部;个人远距离:腰部以上;社会近距离:整个人;社会远距离:占据整个取景框架一半左右的整个人;公共距离:占据整个取景框架不到一半的整个人。正如社会关系影响社会距离,图像中参与者取景距离的长短,则决定了参与者与观看者之间的社会关系和社会距离。
在我们选取的这副漫画中,漫画的创作者采用的是社会远距离,观看者可以清晰地看到画面中参与者整个人以及周围的环境。这表明漫画中的主要人物与观看者之间不是一种亲密的私人关系,这种关系的确立也符合漫画作为一种夸张的娱乐文化的特征。
(3)由“态度”所体现出的图像参与者介入程度及与观看者之间的权势关系
视觉语法中的态度,指图像观看者与图像中的参与者对所叙述事迹的介入程度及参与者与观看者之间的权势关系。图像的态度通过“视角”来体现,表达对参与者所持的主、客观态度。从水平的视角看,正面角度给观看者带来的是感同身受、融人其中的感觉,而倾斜的角度则表现出作为旁观者的漠然与事不关己;从垂直的视角看,俯视代表观看者处于强势,仰视则代表了观看者处于弱势,而平视表示观看者和参与者相对平等的关系。
在选取的这副漫画中,观看者与参与者是一种侧面、平视的视角。图像中的女主人略微倾斜的身体,表明了她作为漫画中的参与者与信息提供者所具有的超脱介入,从而也为观看者创造了一种轻松的氛围。而创作者所选取的水平视觉,则说明了观看者与图像参与者之间平等的社会关系。
四 结语
与大众的真实形象相区别,漫画形象的虚拟性、夸张性和抽象性都更加决定了它是形象符号的集合体,具有超越本体指称他意的功能,有着更深层的间接性和更深广的意义。漫画形象的许多造型充满怪诞的意味,却是引人注目最直接的因素。多模态语篇分析,为我们有效理解这些漫画形象的象征意蕴提供了新的途径,而读者则可以通过提高自身的多模态语篇解读能力,更加充分的体会动画形象的象征意味。
参考文献:
[1] 李战子:《多模式话语的社会符号学分析》,《外语研究》,2003年第5期。
[2] 胡壮麟:《社会符号学研究中的多模态化》,《语言教学与研究》,1997年。
作者简介:魏晓茹,女,1969—,河南偃师人,硕士,讲师,研究方向:社会语言学、应用语言学,工作单位:河南科技大学外国语学院。