传统的人机交互方式以键盘鼠标直接操纵图形界面为主,这些交互方式要求用户需要掌握一定程度上的设备操作技能,并且限制了用户必须在计算机身边,在一定程度上不够直接便捷,限制了用户交互的自然性。而伴随着新型交互设备及技术的出现,多模态人机交互成为目前人机交互领域的研究热点。多模态人交互正在被运用于学习和生活中的各个领域。利用多模态交互技术和虚拟现实技术,开发新型的交互应用,使我们能够更加方便自然地进行人机交互活动。本文的主要研究是通过对最新的体感技术、计算机视觉技术等多种交互技术的融合研究,设计开发出基于体感、手势及传统键鼠等交互融合的人机交互模式,并实现基于此种模式的虚拟传统乐器的演奏系统。主要有以下几个方面的研究内容：1)多模态人机交互技术及理论探讨。研究讨论多模态人机交互中的主要概念问题、多模态人机交互中的信息融合关键技术以及计算机视觉、体感等最新的多模态人机交互技术。2)基于体感交互的多模态人机互动方法研究。以Kinect骨骼信息为基础的体感交互研究；以图像处理的物体识别为基础的交互方式研究；上述2种交互方式的互补结合研究；基于Leap Motion手部运动精确识别的人机交互。3)基于体感的虚拟乐器系统分析与设计。对于基于体感的虚拟乐器演奏系统的需求、功能等进行分析,并设计系统的结构和实现方案。4)基于体感的虚拟乐器系统实现。以VS为开发平台,利用EmguCV、KinectSDK等开发工具实现虚拟编钟演奏系统；以Unity为开发平台,借助Leap SDK、 Leap Unity Assets等工具实现虚拟锣钹乐器演奏系统。并对虚拟乐器系统进行了测试与使用效果分析。本研究的创新之处在于提出了一种基于骨骼信息与图像识别结合的交互方式,以及一种基于Leap Motion手部运动信息特征的交互方式,并在此基础上实现了不同的虚拟乐器演奏系统,系统实现了利用自然的人机交互方式来演奏虚拟乐器,具有一定的应用价值和研究前景。