针对现有虚拟装配系统缺乏沉浸感、交互方式缺乏自然性的缺陷,本论文选择HTC Vive头盔式显示器和Leap Motion作为硬件设备、Unity3D作为仿真平台、C#作为编程语言,开发了基于自然手势交互的具有视觉反馈和听觉反馈的沉浸式虚拟装配系统。本文选择任务成功与否、任务完成度、任务完成时间、迷失度和用户主观满意度作为沉浸式虚拟装配系统的可用性指标,进行了交互反馈实验和训练实验。交互反馈实验研究了系统在无反馈、视觉反馈、听觉反馈和多通道反馈四种条件下的可用性。实验结果表明,相较于无反馈和听觉反馈,应用视觉反馈和多通道反馈可以显著缩短任务完成时间,并且主观满意度的分析结果也显示被试者显著偏好于视觉反馈和多通道反馈。此外,无反馈、视觉反馈、听觉反馈和多通道反馈在任务成功与否、任务完成度和迷失度方面没有显著性差异。最后从发声距离、执行距离、表达距离、观察距离和语义距离等方面进行人机交互模型分析,探讨实验结果背后可能的原因。综合交互反馈实验的结果,最优反馈条件为多通道反馈。训练实验分为训练效果实验和学习迁移效果实验,分别对比应用多通道反馈的虚拟装配系统与真实装配环境的训练效果和学习迁移效果。实验结果表明,虚拟装配训练可以辅助真实装配,虚拟装配训练有训练效果,且与真实装配训练无显著性差异;虚拟装配训练有学习迁移效果,但显著差于真实装配训练;虚拟装配训练的耗时显著高于真实装配训练。另外,虚拟装配系统的训练项目和检验项目、虚拟装配系统和真实装配环境的训练项目、虚拟装配系统和真实装配环境的检验项目在任务成功与否、任务完成度和迷失度方面均没有显著性差异,最后进行了人机交互模型分析。本论文的研究成果对虚拟装配系统的设计与应用有一定的指导作用。