虚拟装配作为虚拟现实技术在产品设计领域的一种典型应用,其应用价值已经引起了越来越广泛的重视。传统的虚拟装配系统由于多数采用鼠标和键盘作为交互设备,普遍存在交互的沉浸感和适应性不强等缺点。针对这个问题,本文以虚拟装配中的人机交互方式为研究重点,从行为学和认知心里学的角度出发,提出了基于双手交互的虚拟装配仿真系统的整体设计思想,以双手交互来代替传统的鼠标交互,并且实现了一个光学头盔的虚拟装配仿真系统。在仿真系统中,用户可以利用虚拟手抓取零件,通过左右手的协作来完成装配过程。首先,本文对手势识别和手势跟踪技术进行总结,分析了多种手势识别方法的适用范围,详细叙述了基于Hu矩特征的手势识别方法,同时比较了多种跟踪方法的优缺点,针对CamShift算法不能自动完成跟踪的缺点,提出了“将轮廓提取和运动跟踪相互印证“的解决方法,使得CamShift算法由半自动跟踪变为全自动跟踪。其次,设计了双手交互的虚拟装配系统的整体架构和处理流程,提出了系统的两个核心数学模型：坐标计算模型和肤色阈值高斯模型,并且详细分析了手势提取、手势识别和碰撞检测等阶段的处理流程。在手势识别阶段,选定欧氏距离作为手势之间的度量准则；在碰撞检测阶段,以轴向包围盒来建立系统的包围盒树,设计了整个系统的碰撞检测策略,同时对零件间的装配关系进行规划描述。最后,分析了双手交互的虚拟装配系统中关键部分的编码实现过程,结合光学头盔的具体装配过程和装配特点,实现了一个基于双手交互的虚拟装配仿真系统,验证了双手交互在虚拟装配中的可行性,同时分析了系统设计中存在的不足之处和以后可以改进的地方。