车型识别系统对智能交通系统有着重要意义,能有效监控可疑车辆、统计车流量信息等等。基于浅层机器学习的算法虽然效率高,但需针对不同场景设计不同的特征,实际应用中场景复杂多变,这种方法显然无法满足实际要求。深度学习的出现为复杂环境场景下的车型识别系统带来了新思路,它能利用海量训练数据,来自动学习更泛化的特征。但其基础理论还不够完善,有效性需要通过实验来验证。在实际应用中,由于数据采集和标注困难,往往缺乏足够样本数据。而且大多数卷积神经网络模型是针对通用物体分类和检测的,在具体的应用场景需要进行相应改进。根据课题来源实际,分析了复杂卡口场景下的车辆检测和车型识别存在的问题。针对通用目标检测器在复杂场景中的单一检测的时候会出现漏检和误检的问题,组建了不同天气场景下的车辆检测数据集,使用K均值聚类算法分析卡口车辆检测数据集的分布特点,基于SSD(Single Shot Multibox Detector,SSD),设置了合适尺度和长宽比的区域候选框,删除冗余的区域候选框,改进通用检测算法。针对车型识别存在的数据集小、特征差异小、环境复杂多变导致过拟合的问题,从数据扩充、迁移学习策略和设计模型的角度缓和了数据量少的问题。数据扩充是在现有数据样本的基础上,通过一定规则来扩充数据样本;迁移学习策略充分利用已有的数据样本;设计模型是设计合适层数的ResNet(Residual Network,ResNet)模型,降低模型容量避免模型学习过多的采样噪声,迫使模型学会更有区分性的特征,同时加快模型的运行速率。最后,基于多任务学习的思想,结合分类学习和度量学习,充分挖掘标签和标签之间的监督信息,进一步约束参数的学习。实验结果表明,针对具体数据集,区域候选框设置在训练数据的聚类中心附近,减少了噪声的干扰,同时删除冗余的候选框,能学到更泛化的特征,同时位置回归也更容易,提高了车辆检测的性能。在数据扩充策略和模型结构一致的情况下,通过迁移学习利用具有一定相似性的数据中已经训练好的优良模型,将其中可用的知识迁移出来,在小样本数据集中微调,大幅度提高车型识别的性能,另外,同时学习样本标签信息和样本标签之间的局部信息,在数据量少的时候能进一步防止网络过拟合,提高车型识别的性能。