随着报考驾校的人数逐年增多,人们对传统的驾驶培训方式提出了更高的要求。然而,当前的传统培训方式仍然存在学车周期长、费用高以及不能保证绝对学车安全等缺点。与传统培训方式相比,在模拟驾驶系统上训练具有不受天气环境影响、低能耗、低成本和绝对安全等优势。但是模拟驾驶系统发展至今始终与真车驾驶存在不小的差距,其主要原因在于模拟驾驶的画面显示效果与实车驾驶场景差距明显。而随着虚拟现实技术的逐渐成熟,在模拟驾驶系统中引入虚拟现实技术可以很好的改善传统模拟驾驶的不足。本文针对以上问题,设计了一种融合视频图像和驾驶操控的汽车模拟驾驶系统。本系统的虚拟场景采用全景视频搭建,借助VR显示设备可以使驾驶效果进一步接近实车驾驶。首先,根据系统驾驶操控性能要求,建立了本系统的车辆动力学模型,并选择改进的欧拉法对模型进行求解,实现了对系统的驾驶操控;其次,为了满足系统驾驶碰撞的实时性检测要求,采用YOLOv3算法对虚拟场景画面进行实时检测,以获取检测目标（人和车）的像素坐标。同时,由于本系统虚拟场景使用全景视频搭建,这使得画面中的目标失去了深度信息,因此本文借助标定实验,并使用数据回归方法实现了对场景目标距离建模,得到了场景目标与真实目标之间的位置映射关系。最后,使用距离模型对检测出的像素坐标进行实时映射,以实现本系统的碰撞功能。此外,本文详细描述了模拟驾驶系统在Unity3D引擎中的具体实现,包括虚拟场景搭建、驾驶操控流程以及碰撞功能的实现,并对整个系统进行了实验测试和分析。测试中,系统各功能模块工作正常,驾驶画面逼真,操控较为精准。虽然本系统还处于实验开发阶段,但仍然具有一定的实际意义和应用价值。