智能化是未来汽车技术发展的重要方向,而环境传感感知是智能驾驶系统的重要组成部分。由于其低成本、采集信息丰富且对周围环境和其它传感器无影响等优势,车载相机一直是智能驾驶最常用的环境传感器之一。然而基于图像处理技术的目标识别和状态估计仍然具有很大的挑战。对车辆这一重要交通参与物的识别与状态估计一直以来是智能驾驶系统的研究热点。近些年来由于硬件计算性能的提升以及大量带有真值标注数据集的出现,数据驱动的深度神经网络在目标识别领域取得了巨大的成功。这些研究方法同样在车辆识别中得到了广泛的应用。这类方法以图像为输入,以目标车辆在图像坐标系下的2D包围盒作为输出。虽然这些研究方法同样适用于对车辆的识别,但其研究普遍针对通用型目标检测,并没有为针对车辆这种特定目标进行优化,这使得将这类方法应用于车辆2D包围盒检测时并不准确,也不高效。此外,通用目标检测器一般输出的是图像坐标系下车辆的2D包围盒信息,不能产生智能驾驶系统所需目标车辆的位置、姿态和尺寸等信息,而这些信息是支持汽车智能驾驶精准决策的关键参数。对目标车辆进行3D包围盒状态估计是更加有意义的任务。通常的做法是使用诸如激光雷达等其它带深度信息的传感器信号并与图像信号融合。然而激光雷达传感器价格昂贵并不实用,使用单目相机完成这个任务很难取得令人满意的精度,技术上具有很强的挑战性,也鲜有相关的研究。基于数据驱动的深度学习方法为车辆识别与状态估计提供了一条极好的解决途径。但此类方法需要大量带有标注的数据集进行模型训练。卷积神经网络越复杂,参数越多,网络可能有更高的拟合能力,但同时也需要更多的数据用于模型训练。然而,在真实世界中采集图像数据并对数据进行人工标注不仅十分繁琐,而且可能导致标注不精确和不统一。虚拟数据是基于计算机图形学技术,通过建模与3D渲染产生的模拟数据。相比于真实数据集,虚拟数据集不仅生成容易,且标注准确、可自动化。随着近年来计算机软硬件技术的不断发展,虚拟数据的逼真度也在不断提高,在模型训练上可一定程度上替代真实数据集。然而,目前的虚拟数据还远不足以完全替代真实数据并广泛应用于深度学习的模型训练,如何生成高逼真度且具有丰富内容变化的虚拟数据集还有待于进一步研究,其各个关键成像因素对于最终检测结果的影响机理尚需进一步探索。相比于2D包围盒的标注,在图像数据上进行3D包围盒的标注更加困难。虚拟数据则可进行自动的3D包围盒标注,并且标注结果统一且准确。虽然使用虚拟数据集进行3D包围盒状态估计的模型训练具有明显优势,但相关的应用却很少见,如何缩小虚拟数据与真实数据之间的域差,使得基于虚拟数据训练的模型能够在实际应用中获得良好的效果依然是一项挑战。针对上述问题,本文对车辆的2D包围盒检测、3D包围盒状态估计和虚拟数据集的生成与应用等开展了深入的研究。主要研究内容如下:1.本文在原始Faster R-CNN目标检测器的基础上开展了针对车辆2D包围盒检测的优化研究。在区域候选阶段,本文首先通过特殊的网络设计方法生成了多形状的感受野,使得感受野的形状更加适合于车辆2D包围盒检测。然后根据感受野的形状,以成像时的透视效应作为先验知识,优化了锚框的生成方式,使得锚框能够更加精确地覆盖真实车辆2D包围盒,减少了无效锚框的数量。最后,在候选区域分类回归阶段,本文根据候选区域的大小和各个特征图的特征步长,对候选区域进行了分配,使得特征图中所包含的信息量更加适用于最后的预测。相比于传统的未经优化的原始方法,本文提出的方法明显地提升了检测精度与检测速度。2.本文在之前车辆2D包围盒检测的基础上提出了一种新的车辆3D包围盒状态估计方法。本文首先利用当前单目视觉像素级深度估计方法生成深度图,通过几何运算方法生成了伪点云数据,并结合当前基于点云数据的方法对车辆进行3D包围盒状态估计。本文还通过伪点云位置数据进行法向量估计,并将其应用到车辆3D包围盒状态估计;实验证明该法向量数据提升了状态估计的性能。此外,本文还进一步提出了专门用于伪点云信号处理的自注意力模块,对伪点云位置信息、法向量信息与RGB信息进行融合,进一步提升了状态估计的性能。3.本文提出了一种基于域随机化的虚拟数据集生成与标注方法,并使用虚拟数据集全部或部分替代真实数据集用于模型训练。通过基于物理的渲染方法,虚拟图像能够获得较高的逼真度。同时本文采用域随机化方法将影响较大的成像因素参数在一定范围内进行随机化处理,以丰富虚拟数据集的变化,避免模型的过拟合现象。真实感虚拟数据与非真实感虚拟数据都被引入以发挥各自不同的优势。为验证本文提出的方法,本文设计了一组以同一车辆2D包围盒检测算法为测试基准的对比实验,结果表明本文提出的虚拟数据集相较于其它虚拟数据集有着明显的性能优势。此外,本文还详细分析了各个成像因素的随机变化对最终检测结果的影响,以及在使用虚拟数据集进行预训练然后采用少量真实数据集进行微调时模型所能达到的性能。4.结合本文提出的车辆3D包围盒状态估计方法与虚拟数据集,本文进一步研究了基于虚拟数据集的3D包围盒状态估计方法。由于源域虚拟数据集与目标真实数据集之间有着明显的域差,使用虚拟数据集训练出的网络模型在实际测试中通常难以获得良好的性能,这个问题在3D包围盒状态估计中尤为突出。本文一方面提出了对原始虚拟数据进行增强处理的方法,使得模型能够学习到可以对抗干扰的特征;另一方面提出了在特征提取阶段进行无监督对抗训练域适应的方法,对齐源域与目标域的特征分布,从而提升了基于虚拟数据集训练模型的性能。整个过程不需要真实数据集的3D包围盒标注。