视觉与听觉是我们的两个主要的感官,它们分属于不同的领域各自工作。耳朵通过声波感知音响,眼睛通过光线感知空间,但它们并不是相互孤立存在的。在生活中,我们常会有看到某个画面联想到某种声音的体验,或者是听到声音而联想出一些画面的感受,“耳中见色,眼里闻声”,描绘的就是眼、耳两种感官功能之间的相互转化。人的感官既然不是完全独立的,那么通过借鉴和学习另一种感官艺术的表现方式能否为本专业探索新的创作手法,增加作品的表现力呢。笔者搜集了国内外在视听互动方面的创新案例,借以了解视听互动的新趋势。然后从听觉和视觉的基础元素入手,分析声波与光波的差异和共性,再到听觉艺术与视觉艺术的基础元素的对比,如节奏、韵律、色彩情感等,试图通过分析比对寻找二者的共通之处。经对比分析发现,听觉艺术与视觉艺术之间存在着相似的表达方式如节奏感、韵律感、和色彩情感等。根据二者之间的相似性,笔者分析了一些视听融合艺术作品的案例,如MOT工作室制作的维瓦尔第《四季》的视觉乐谱,和蒙德里安的油画作品《百老汇爵士乐》。通过对视觉的形状、结构、色彩等与音乐的音高、节奏、韵律等的对比,试图找出创作者将听觉和视觉产生互动的创作手法。经分析发现MOT工作室是将音乐的音高、时值节奏与视觉的形状、面积、颜色等相对应进行互换。蒙德里安将爵士乐的节奏、情感等特点化成了点、线、面、色彩的排列组成的画面。在分析和总结了前人的经验之后,想探索出新的将视听互动表达出来的形式,并产生实际应用的效果。通过对蜡烛的观察发现蜡烛火焰对声波的感知非常敏感,于是查阅了相关科学资料得到证实声波确实会对火焰产生影响,于是由此为切入点,进行了探索视听实时互动的实验。实验中发现火焰会跟随声波产生振动而摆动,播放不同节奏的声音,火焰会产生不同幅度的振动。将蜡烛放入透明玻璃杯中,通过透明玻璃杯不同的花纹会折射出不同形状的图案,并随之摆动而产生与音乐节奏相吻合的动感画面。笔者受到实验的启发,并综合了前文探讨的听觉元素与视觉元素之间的互动性特点以及前人的经验,将之运用于创作,为“边渡空间”网站设计了一个音画互动的推广短片,利用音画的互动效果,利用不同的声音素材创作出不同的画面,丰富信息传达的方式与表现能力,让受众体会到更多的趣味性,让信息更好的传达,受众更好的接收。希望大众能感受到听觉感官与视觉感官互动的魅力,更多的思考二者之间的联系,并将之运用到设计中,为视觉传达设计探索更多的表达形式与可能性。