论文部分内容阅读
摘 要：传统的车牌识别实现方案大多数是良好的环境情况下，但是不能满足复杂场景中的需求且其方案不具备鲁棒性。复杂环境如冬季大雾传统方案则难以实现车牌识别，为此，在雾天条件下提高车牌识别准确性和鲁棒性是本文的研究重点。本文介绍了大雾天气下车牌图像的去雾问题及解决方法通过CNN模型的车牌识别的实现方案，提高雾天车牌识别的效率，且具备鲁棒性。
关键词：车牌识别;鲁棒性;CNN;图像处理
0 引言
随着社会的进步，人们生活水平地提高，越来越多的人选择开私家车出行的方式，车辆增多带来了智能高效的车牌识别问题。传统的识别方法包括模板匹配，支持向量机等模板匹配的识别方法简单，但识别效率较低相应的识别率较低，尤其是汉字。特别是随着环境的逐渐恶化，空气污染日趋严重，在雾霾或雾中驾车的几率大大增加[1]。传统车牌识别是基于正常天气下光线好的车牌识别率较高。然而，由于环境的不确定性，在雾等异常光照条件下识别车牌。由于雾天能见度降低，人们的视线和相机无法正常采集清晰的图像数据，这使得车牌识别更加困难[2]。随着深度学习的发展，其应用越来越广泛。特别是近年来使用CNN应用于图像处理取得较好的效果[3]。与传统的字符识别技术中，本文所实现的网络模型可以克服字符识别率低、识别速度慢等技术难点，其识别率可达99%左右。
1 相关工作
本章节对车牌识别相关技术进行了相应的介绍。模板匹配[4]的方法是通过车牌定位，经过一系列的处理，如，字符分割，同时建立车牌字符库，经过分割对车牌字符进行规范化处理，分割后的车牌与一一对应字符库匹配，最后选择最佳匹配的结果作为预测结果输出。支持向量机[5，6]是机器学习中的一种方法，通过对车牌字符进行分类高维空间映射机制，首先对车牌字符进行分割，然后在视觉库中使用支持向量机模块进行训练。
卷积神经网络是一种专门为图像处理而设计的神经网络。与感知网络相比，它的主要优点在于参数共享和稀疏性连接[5]。卷积神经网络中的神经元可以对周围的单元覆盖区域做出部分响应，表示其覆盖部分的输出不受其他像素的影响。许多学者使用CNN模型进行了字符识别，例如，经典的MNIST数字识别[6]。
2 本文模型
本文所实现的车牌识别的模型是CNN，其卷积层用式（1）表示如下：
其中，是卷积核的i行和j列的权重;，是卷积层输入的行和列。b是偏差;是行和行中的元素卷积层的列。
本文采用的神经网络主要是卷积神经网络，网络模型中的隐层变化与结构中的卷积，中间是隐藏层，以后使用全连接层会在中间采用卷积和归并的过程对图像进行分层分类，提取任务的特征最后分类主要使用Softmax层，可以得到当前样本所属的不同层分类概率分布。本文卷积神经模型如图1所示：
3 系统实施
整个系统的实现过程包括图像去雾、图像锐化、初始定位车牌的定位，车牌的准确定位，车牌畸形的矫正，字符的识别利用神经网络进行分割和单字符识别。
3.1 圖像去雾
本文中图像去雾的主要思想是RGB通道先验知识[7]。在大多数非天空的地方区域中，某些像素总是至少有一个颜色通道的值非常低。换言之，区域的最小光强度是一个很小的数字，其数学表达式如式（2）所示：
其中J表示彩色图像中每个通道的公式，以x为中心，以像素为窗口。此公式的目的是找出不同通道上每个位置的最小值，然后在特定窗口中过滤灰度图像。在计算机视觉中，建立了描述雾图的模型如式（3）所示：
其中，是现在拥有的图像（无雾图像），是无雾图像的恢复，是所在环境中的光分量，是透射率。公式（3）中，目的是通过已知条件获得除雾图。需要找到一个透过率和大气光的值，从而完成除雾后的图像。自然条件下车牌除雾效果对比如图2所示。其中左图是没有除雾操作的原始图像，右图是除雾后的图像操作。
3.2 车牌预处理
车牌预处理包括图像增强、车牌定位、车牌倾斜校正、字符分割等。输出前一部分的图像后除雾操作作为车牌预处理的输入，首先通过图像添加技术，使图像锐化，便于后续处理。
3.3 车牌定位
完成上述操作后，需要从等待选择字段中准确定位车牌对车牌的轮廓区域，判断预处理后的图像区域，直接排除该区域小于一定的区域阈值，进一步筛选出符合条件的区域块。中国车牌是按照一定比例生产的，可根据轮廓的宽高比进一步筛选在准确定位车牌后，由于车牌安装时间长车牌可能会倾斜，或者摄像头的拍摄角度等原因问题，这不利于后续的字符分割[8]。因此，字符分割前还应检查车牌是否倾斜，以纠正其不规则形状。有各种各样的车牌校正过程。本文检测允许的倾斜角为15度，通过仿射变换进行畸形矫正，校正效果如图3所示。
3.4 车牌字符分割
车牌字符分割是字符识别的关键步骤，设计有效的字符分割算法可以有效地提高字符的准确率认可[9]。在车牌字符分割中，主要采用垂直投影的方法分割和模板匹配字符分割。垂直投影分割法在本文中使用。在水平投影的基础上，去除上边缘和下边缘，以及然后对二值化后的车牌图像进行垂直叠加。由于车牌本身，车牌的某些字符被卡住或断开。因此垂直投影法在一定条件下需要加以限制。车牌字符的分割效果如图4所示。
3.5 车牌字符识别
车牌识别的最后一个关键步骤是识别，识别的准确率和速度都是非常重要的。在传统的识别方法中，识别率较低，容易受外界环境因素的影响，导致其精度下降[10]。本文车牌识别采用所设计的CNN模型，泛化能力强，其泛化能力来源于所建网络模型的最终训练参数。拥有大量的训练样本是获得良好学习效果的重要途径之一泛化能力。其次，通过对模型的分析，可以降低模型的损失函数值网络结构参数的正则化和节点的随机删除，以便更好的拟合样本集分类的结果。 本文利用卷积神经网络建立了网络模型如第2节所述，该网络主要采用Adam算法对损耗函数进行优化，使模型损失函数更适合样本集。在本文所设计的模型最终的测试识别率可达99%左右，而如SVM其识别率只有80%左右。因而可以说明本文模型的有效性。
4 结论
本文对复杂环境中的车牌识别进行了研究。车牌识别在大雾天气中，通过提高对天气现象的认识，大大提高在原有条件下可能无法识别车牌或识别效果较差。在车牌除雾过程中，车牌除雾过程中的RGB通道会被破坏更好的优化，使其更加自然流畅，有利于更好的除雾。在今后的改进中，深度学习法也可以结合到除雾中，这是一种很好的学习方法雾天更有利于提高车牌识别准确率。
参考文献：
[1]陈政，李良荣，李震，等.基于机器学习的车牌识别技术研究[J].计算机技术与发展，2020，30（6）：19-24.
[2]段宾，符祥，江毅，等.结合GAN的轻量级模糊车牌识别算法[J].中国图象图形学报，2020（9）：1813-1824.
[3]朱凤霞.基于神经网络和图像识别的车牌识别技术[J].电子设计工程，2020，28（2）：130-133.
[4]徐伟，张立晓，陈智寿，等.基于Faster-RCNN的鳌江特大桥车辆识别技术[J].物联网技术，2021，11（1）：21-24.
[5]周龙，王伟强，吕科.FACR：一种快速且准确的车辆识别器[J].中国科学院大学学报，2021，38（1）：130-136.
[6]高勇.基于BP神經网络的车牌识别建模及实现[J].电子测试，2021（1）：44-45+78.
[7]陈冬英，曾淦雄.基于CNN的车牌识别精定位算法研究[J].福建江夏学院学报，2020，10（6）：101-107+115.
[8]曾荻清.视觉无人机高速公路违章识别技术的研究及实现[D].南京邮电大学，2020.
[9]王恒涛.基于TensorFlow、Keras与OpenCV的图像识别集成系统[J].电子测试，2020（24）：53-54+124.
[10]漆世钱.基于轮廓识别和BGR颜色空间的车牌定位[J].计算机技术与发展，2020，30（12）：176-180.
关键词：车牌识别;鲁棒性;CNN;图像处理
0 引言
随着社会的进步，人们生活水平地提高，越来越多的人选择开私家车出行的方式，车辆增多带来了智能高效的车牌识别问题。传统的识别方法包括模板匹配，支持向量机等模板匹配的识别方法简单，但识别效率较低相应的识别率较低，尤其是汉字。特别是随着环境的逐渐恶化，空气污染日趋严重，在雾霾或雾中驾车的几率大大增加[1]。传统车牌识别是基于正常天气下光线好的车牌识别率较高。然而，由于环境的不确定性，在雾等异常光照条件下识别车牌。由于雾天能见度降低，人们的视线和相机无法正常采集清晰的图像数据，这使得车牌识别更加困难[2]。随着深度学习的发展，其应用越来越广泛。特别是近年来使用CNN应用于图像处理取得较好的效果[3]。与传统的字符识别技术中，本文所实现的网络模型可以克服字符识别率低、识别速度慢等技术难点，其识别率可达99%左右。
1 相关工作
本章节对车牌识别相关技术进行了相应的介绍。模板匹配[4]的方法是通过车牌定位，经过一系列的处理，如，字符分割，同时建立车牌字符库，经过分割对车牌字符进行规范化处理，分割后的车牌与一一对应字符库匹配，最后选择最佳匹配的结果作为预测结果输出。支持向量机[5，6]是机器学习中的一种方法，通过对车牌字符进行分类高维空间映射机制，首先对车牌字符进行分割，然后在视觉库中使用支持向量机模块进行训练。
卷积神经网络是一种专门为图像处理而设计的神经网络。与感知网络相比，它的主要优点在于参数共享和稀疏性连接[5]。卷积神经网络中的神经元可以对周围的单元覆盖区域做出部分响应，表示其覆盖部分的输出不受其他像素的影响。许多学者使用CNN模型进行了字符识别，例如，经典的MNIST数字识别[6]。
2 本文模型
本文所实现的车牌识别的模型是CNN，其卷积层用式（1）表示如下：
其中，是卷积核的i行和j列的权重;，是卷积层输入的行和列。b是偏差;是行和行中的元素卷积层的列。
本文采用的神经网络主要是卷积神经网络，网络模型中的隐层变化与结构中的卷积，中间是隐藏层，以后使用全连接层会在中间采用卷积和归并的过程对图像进行分层分类，提取任务的特征最后分类主要使用Softmax层，可以得到当前样本所属的不同层分类概率分布。本文卷积神经模型如图1所示：
3 系统实施
整个系统的实现过程包括图像去雾、图像锐化、初始定位车牌的定位，车牌的准确定位，车牌畸形的矫正，字符的识别利用神经网络进行分割和单字符识别。
3.1 圖像去雾
本文中图像去雾的主要思想是RGB通道先验知识[7]。在大多数非天空的地方区域中，某些像素总是至少有一个颜色通道的值非常低。换言之，区域的最小光强度是一个很小的数字，其数学表达式如式（2）所示：
其中J表示彩色图像中每个通道的公式，以x为中心，以像素为窗口。此公式的目的是找出不同通道上每个位置的最小值，然后在特定窗口中过滤灰度图像。在计算机视觉中，建立了描述雾图的模型如式（3）所示：
其中，是现在拥有的图像（无雾图像），是无雾图像的恢复，是所在环境中的光分量，是透射率。公式（3）中，目的是通过已知条件获得除雾图。需要找到一个透过率和大气光的值，从而完成除雾后的图像。自然条件下车牌除雾效果对比如图2所示。其中左图是没有除雾操作的原始图像，右图是除雾后的图像操作。
3.2 车牌预处理
车牌预处理包括图像增强、车牌定位、车牌倾斜校正、字符分割等。输出前一部分的图像后除雾操作作为车牌预处理的输入，首先通过图像添加技术，使图像锐化，便于后续处理。
3.3 车牌定位
完成上述操作后，需要从等待选择字段中准确定位车牌对车牌的轮廓区域，判断预处理后的图像区域，直接排除该区域小于一定的区域阈值，进一步筛选出符合条件的区域块。中国车牌是按照一定比例生产的，可根据轮廓的宽高比进一步筛选在准确定位车牌后，由于车牌安装时间长车牌可能会倾斜，或者摄像头的拍摄角度等原因问题，这不利于后续的字符分割[8]。因此，字符分割前还应检查车牌是否倾斜，以纠正其不规则形状。有各种各样的车牌校正过程。本文检测允许的倾斜角为15度，通过仿射变换进行畸形矫正，校正效果如图3所示。
3.4 车牌字符分割
车牌字符分割是字符识别的关键步骤，设计有效的字符分割算法可以有效地提高字符的准确率认可[9]。在车牌字符分割中，主要采用垂直投影的方法分割和模板匹配字符分割。垂直投影分割法在本文中使用。在水平投影的基础上，去除上边缘和下边缘，以及然后对二值化后的车牌图像进行垂直叠加。由于车牌本身，车牌的某些字符被卡住或断开。因此垂直投影法在一定条件下需要加以限制。车牌字符的分割效果如图4所示。
3.5 车牌字符识别
车牌识别的最后一个关键步骤是识别，识别的准确率和速度都是非常重要的。在传统的识别方法中，识别率较低，容易受外界环境因素的影响，导致其精度下降[10]。本文车牌识别采用所设计的CNN模型，泛化能力强，其泛化能力来源于所建网络模型的最终训练参数。拥有大量的训练样本是获得良好学习效果的重要途径之一泛化能力。其次，通过对模型的分析，可以降低模型的损失函数值网络结构参数的正则化和节点的随机删除，以便更好的拟合样本集分类的结果。 本文利用卷积神经网络建立了网络模型如第2节所述，该网络主要采用Adam算法对损耗函数进行优化，使模型损失函数更适合样本集。在本文所设计的模型最终的测试识别率可达99%左右，而如SVM其识别率只有80%左右。因而可以说明本文模型的有效性。
4 结论
本文对复杂环境中的车牌识别进行了研究。车牌识别在大雾天气中，通过提高对天气现象的认识，大大提高在原有条件下可能无法识别车牌或识别效果较差。在车牌除雾过程中，车牌除雾过程中的RGB通道会被破坏更好的优化，使其更加自然流畅，有利于更好的除雾。在今后的改进中，深度学习法也可以结合到除雾中，这是一种很好的学习方法雾天更有利于提高车牌识别准确率。
参考文献：
[1]陈政，李良荣，李震，等.基于机器学习的车牌识别技术研究[J].计算机技术与发展，2020，30（6）：19-24.
[2]段宾，符祥，江毅，等.结合GAN的轻量级模糊车牌识别算法[J].中国图象图形学报，2020（9）：1813-1824.
[3]朱凤霞.基于神经网络和图像识别的车牌识别技术[J].电子设计工程，2020，28（2）：130-133.
[4]徐伟，张立晓，陈智寿，等.基于Faster-RCNN的鳌江特大桥车辆识别技术[J].物联网技术，2021，11（1）：21-24.
[5]周龙，王伟强，吕科.FACR：一种快速且准确的车辆识别器[J].中国科学院大学学报，2021，38（1）：130-136.
[6]高勇.基于BP神經网络的车牌识别建模及实现[J].电子测试，2021（1）：44-45+78.
[7]陈冬英，曾淦雄.基于CNN的车牌识别精定位算法研究[J].福建江夏学院学报，2020，10（6）：101-107+115.
[8]曾荻清.视觉无人机高速公路违章识别技术的研究及实现[D].南京邮电大学，2020.
[9]王恒涛.基于TensorFlow、Keras与OpenCV的图像识别集成系统[J].电子测试，2020（24）：53-54+124.
[10]漆世钱.基于轮廓识别和BGR颜色空间的车牌定位[J].计算机技术与发展，2020，30（12）：176-180.