自然的人机交互方式,相比于传统键盘鼠标的交互方式,更加简单和高效。优秀的交互应用场景应当具备人的表达准确,机器识别精确,场景展示明确等方面优点。虚拟仿真环境下的应用具有低成本、重复性高、工程操作安全、工程结构透明等优势,适用于各种复杂机械、人体观察等方面的研究。传统的键盘和鼠标无法满足这些复杂的交互环境要求,因此,自然交互技术在虚拟仿真环境中的应用更符合新环境的要求。本文以图像信息处理技术为核心,基于交互技术、虚拟仿真、深度学习等技术交叉融合,对常见的自然交互技术进行分析比较,实现了虚拟仿真中手势识别与应用,设计了基于深度信息三维虚拟仿真场景的自然交互。基于计算机视觉的手势识别、人体姿势、深度信息等的交互方式是自然人机交互的热点。本文依据场景设计、交互约束、识别技术介绍等方面要素建立对自然交互与虚拟仿真融合的评估模型;通过完成数据收集,数据处理,数据集制作,网络构建等步骤,综合对比实验了Visual Gesture Builder（VGB）、深度卷积编解码网络算法（Deep Convolutional Encoder-Decoder Network,DCEDN）的手势识别技术并提出应用于虚拟仿真场景中增加交互方式自然性的方法;进行基于Time Of Flight（TOF）飞行时间的深度信息获取,改进了“张氏标定法”,并对深度图像与彩色图像进行标定,建立加权平均图像滤波器完成图像去噪等方面的处理,实现基于深度信息三维虚拟仿真场景的自然交互。加强人体姿势与深度信息在虚拟仿真场景中的融合应用效果。本文通过具体实验研究,有效论证了手势识别,三维深度人体信息等自然交互技术与虚拟仿真场景融合应用的可行性,且效果良好。