虚拟现实技术作为一种结合多个领域的新兴技术,一直受到广泛关注。尤其是在近几年,虚拟现实技术突然爆发,开始一步步的走近人们的生活,慢慢的在各行各业中得到应用。而如何更逼真、精确的构造出虚拟环境,并且有效的与用户之间去进行交互变成了科研人员重点研究的内容之一。此前,开发虚拟现实应用大多使用UE4等工具,但其开发流程复杂,外接能力较差。随着Unity3D的发布,其高效的开发流程、丰富的组件系统使其在虚拟现实的应用中有很大的优势。本文的目的是通过Unity3D引擎,模拟出更精美自然的虚拟环境,并通过人机交互方法,完成现实与虚拟之间的对接。本文的工作和贡献主要集中在以下几个方面:(1)在基于光探头的全局光照提取方法中,对光探头在场景内的布局进行优化,在保证渲染效果的同时有效的缩短了光照预采集的时间。(2)本文基于关键帧编辑方法,通过人体运动数据实现虚拟人物的运动模拟。在该方法中,我们通过设备采集和处理真实人体的关节点位置数据,计算出各个关节点的旋转角度。为了保证运动信息的合理性,对人体各个关节的运动角度进行约束,通过对关键帧之间的差值完成虚拟人物的运动模拟。(3)对人机交互进行研究,提出了基于单目摄像头的人机交互方法。该方法中,我们将人体三维骨架数据提取分为二维骨架提取和非参数的三维骨架匹配两个部分。在非参数的三维骨架匹配方法中,我们加入了人体运动的连续性原理,在正确性的基础上保证了实时性。进而通过从单目摄像头中提取的骨架信息提出了基于手部运动信息的人机交互方法。(4)在上述研究成果的基础之上,通过Unity3D引擎设计并实现了基于单目摄像头的虚拟机器人运动系统,儿童益智系统和深空探测系统。