增强现实技术旨将计算机产生的虚拟图像,实时地叠加到真实环境中,使人眼观察到虚实融合的场景,从而实现对真实环境信息的增强。光学透射式平视显示系统将虚拟图像直接投射到人眼视线前方,能够保证清晰的视点与背景,是目前增强现实中主要的实现形式之一,其关键技术的发展备受关注。目前,在光学透射式平视显示系统的关键技术中,仍然存在系统标定精度不够高、三维跟踪注册精度较低或不稳定等问题,且场景信息的提取对相机姿态求解的结果也有所影响。本文围绕上述几个技术难点,研究光学透射式平视显示系统中的系统标定、场景信息提取、三维跟踪注册等关键技术,解决目前存在的问题。本文的主要贡献如下:1、针对光学透射式平视显示系统中的标定问题,提出一种结合光学显示图像畸变与相机成像畸变校正的标定方法。首先通过分析系统中各组成部分之间的关系,定义不同的坐标系。由于在标定时相机与光学显示系统会带来一定程度上的虚拟图像畸变,因此在建立系统的标定模型时,将相机与光学显示部分的畸变考虑进去,并进行校正。利用非线性回归估计方法对模型求解,计算出系统标定参数,提高了光学透射式平视显示系统的标定精度。2、提出一种基于特征点云匹配的三维跟踪注册方法。算法将相机的姿态估计问题转化为点云的匹配问题,将获取的二维图像信息转换为三维点云,在点云间直接建立相机的姿态估计模型,得到姿态变换矩阵。这样不仅提高了算法的计算速度,也保证了三维跟踪注册算法的精度。3、传感器在获取图像时,若特征点无法被有效地保留,导致特征数量较少,则直接影响三维跟踪注册的结果。为了解决这一问题,采用语义分割的方式获取场景中的内容,语义分割能够使三维跟踪注册更加稳定,提高三维跟踪注册的精度。因此,设计一种基于改进的单发多框检测器深度卷积神经网络,无需事先提取特征,而是采用学习的方法对网络进行训练。网络前端采用VGG-16网络对图像特征图进行上采样,然后逐层恢复特征图的大小,在得到场景中目标分类结果的同时,获取不同目标的像素分类结果,即场景的语义内容信息。4、为了使三维跟踪算法能够适应具有一定结构复杂度的场景,结合场景的语义分割结果,提出一种基于多目标约束的三维跟踪注册算法。算法利用所提取的不同目标的像素分类结果,将目标的二维图像转换为三维语义目标点云,并根据语义点云间的多目标约束,建立姿态估计模型,得到注册矩阵。在一般场景下,为了使三维跟踪算法更加稳定,提出一种基于灰度-几何约束的三维跟踪注册方法,融合图像帧之间的灰度信息与几何信息,将灰度约束与几何约束同时建模,在保证算法精度的同时提高了算法的稳定性。最后,搭建了应用于辅助驾驶的光学透射式平视显示原型系统。通过分析驾驶环境,设计光学显示系统,结合所提算法,实现对道路信息的增强。实验验证了系统的实时性、稳定性以及安全性,从而提高了驾驶安全。