车牌识别是计算机视觉领域的重要研究方向之一,许多车牌识别方法和识别系统已在停车场、高速收费站等场景中得到广泛应用。现有车牌识别方法和系统中的相机主要部署在固定角度和位置,采集到的车牌图像相对固定。但是在诸如安全驾驶、移动警务、道路安全等实际需求中,相机位置并不固定,导致所采集到的车牌具有背景复杂、大小不一的情况,且存在错切、旋转等变化,给现有车牌识别方法带来了困难。此外,随着经济发展和社会进步,实际应用中还出现了新能源车牌、军警车牌、双行车牌等诸多特殊类型车牌,其中双行车牌的多行布局特性使得现有单行车牌识别方法难以适用、汉字位置不固定的车牌难以准确识别等问题,给车牌识别方法带来了新的挑战。针对上述问题,本文对复杂场景下的端到端车牌识别方法进行了深入研究,具体工作如下:1.针对现有车牌识别方法不能处理视角变化和识别类型单一的问题,本文提出了面向复杂场景的端到端单行车牌识别网络,在一个网络中同时实现车牌检测和车牌识别。首先用共享卷积提取输入图像的特征,然后接入两个网络分支分别对应检测和识别两个任务,并设计了一个特征提取矫正模块把两个分支连接起来。其中,车牌检测采用了像素级分割的方法,能够从复杂场景的图像中精确检测出各种形状的车牌。车牌识别采用了双向长短时记忆网络,能够应对汉字位置不固定和车牌字符变长的问题。特征提取矫正模块对车牌区域特征进行变换,得到水平排列的矩形特征,让梯度在反向传播时可以流经整个网络,从而实现端到端的训练和推理。端到端网络利用了检测任务和识别任务的相关性,提高了车牌识别率;并且,两个任务在提取特征时使用了共享卷积,从而缩短了运行时间。在公开数据集AOLP上,本文方法比目前最好方法的车牌识别率提高了0.86%。在SSIG等四个公开数据集上,本文方法的识别速度和车牌识别率也达到了领先水平。2.针对现有车牌识别方法无法识别多行布局车牌的问题,本文进一步对单行车牌识别网络进行扩充,提出了基于特征重组的端到端多行车牌识别网络。首先,在网络上嵌入一个浅层分类模块,用来区分不同行数车牌的特征。然后,通过切分、池化和拼接的方式,把不同行数车牌的特征组合起来,实现了多行布局车牌的特征重组。最后用双向长短时记忆网络进行识别。由于不需要在图像的车牌区域上进行分割,包括分割出每一行和对一行的字符分割,简化了多行车牌的识别过程。为了解决多行车牌训练数据不足的问题,本文用生成图像进行数据扩充。实验表明,特征重组的方式比用车牌分割的方式车牌识别率提高了7.85%,并且端到端多行车牌识别网络在含有多行车牌的真实数据上能够达到98.29%的整牌识别率。本文还从多个方面对网络的推理速度进行了优化,优化后的推理速度比优化前提高了约130%。