论文部分内容阅读
【摘 要】人脸识别在生物识别中有着重要地位，在许多领域发挥着重要地位，但是由于现实生活中人们面部经常会受到局部大面积遮挡，比如在疫情期间大部分外出都会佩戴口罩，面部受到遮挡，导致传统的算法识别的准确度偏低，所以在提升动态局部遮挡人脸识别方面还有很大的研究空间。该技术的研究可以应用于手机的人脸识别，使用者可以不取口罩进行手机解锁更加方便，节约时间而且在疫情期间可以避免取口罩时被口罩上的病毒感染。并且可以运用于警察抓捕犯罪分子，犯罪分子为了避免被发现可能，会佩戴口罩增加人脸识别难度导致识别错误，因此提高口罩人脸识别的准确度可以减少警察的不必要出警，节约人力和物力。提高安检效率，在疫情期间大家都会佩戴口罩出行，如果过安检时要取掉口罩在进行人脸识别会降低安检速度。本项目旨在通过提取未遮挡部分特征和脸部边缘特征，基于深度神经网络训练提高口罩大面积遮挡人脸识别的准确度。
【关键词】口罩;遮挡人脸;识别方法
一、引言
人脸识别主要分为三类有人脸1：1人脸识别以及1：n人脸识别和n：n人脸识别，1：1对比是指给定两个脸判断是否为同一个人，常用于银行柜台，手机解锁，酒店入住等。1：n对比是一张待检索图片，在大小为n的人脸库中比对判断是否有目标人物，主要用于犯罪侦查。n：n比对是大量的摄像头都在实时抓拍，有很多待确定的抓拍人脸与相对比较大的人脸库进行比对，主要用于小区门禁，安防监控等。早期的人脸识别由于鼻子和嘴巴都会被口罩遮挡，所以很难运用于口罩遮挡的人脸识别，我们将采用卷积层对脸部的边缘特征进行提取并且使用特征部位的相对位置提高准确度。在ICCV中Viola和Jones发表的文章介绍了一个实时的人脸识别检测系统，使人脸检测技术应用于工业界。该技术主要有三个贡献基于Hear-like矩阵特征实现快速计算，基于AdaBoost分类器设计，采用Cascade技术提高了检测速度[1]。但Viola和Jones基于AdaBoost分类器设计的算法不能检测佩戴口罩的人脸复旦大学的周孝佳和上海视频技术与系统工程研究中心的朱允斌等，通过把人脸裁剪出左眼，右眼，鼻子和嘴巴四个区块分别进行特征提取，再根据遮挡判别的结果进行特征融合，从而得到人脸的特征[2]。但是由于口罩是大面积遮挡很难对鼻子和眼睛特征进行提取，其预测结果会产生一定的误差。我们把人脸未遮挡部位的部位眉毛，眼睛进行分块并进行占比分析提高准确度。安徽理工大学的刘瑞欣因为分块提取特征，分块的大小的选择的问题。提出了使用多尺度梯度直方图对分块进行处理，使面部变化更有鲁棒性并且减少特征点的丢失[3]。浙江工业大学的沈闻佳针对小样本问题提出了基于贝叶斯多元分布的特征提取与识别算法，使得遮挡分散尽可能降低遮挡对识别的影响。并且使用梯度脸和马尔夫随机场解决了光照变化时导致的遮挡的人脸识别率偏低的问题[4]。随着科技的进步有越来越多的关于人脸别遮挡的研究方法，尤其深度学习和3D模型的提出，为提高遮挡人脸识别的准确度打开了新的思路。
二、方法步骤
本研究拟采用的技术路线如图1所示，研究采用matlab软件，和基于BSD许可OpenCV视觉库，利用MATLAB Support Package for USB Webcames软件支持包调用摄像头，通过神经网络训练提高人脸识别准确度。详细内容如下：
（一）人脸检测
级联物体检测使用Viola-Jones算法只可以检测出无遮挡的人脸，如果要检测被口罩大面积遮挡的人脸，需要利用图像标签使用TrainCascadeObjectDetector函数来训练自定义的分类器。检测器使用级联分类器来确定窗体中是否包含要检测的对象，被检测的对象大多数是3D的，不同的方向纵横比都会发生变化，因此需要为每个方向训练一个检测器。用训练好的分类器对戴口罩的人脸进行检测，判断出人脸的位置和大小。利用Cascade技术提高人脸检测的速率。检测到人脸之后，基于3d结构光和yolo算法检测未遮挡部分，首先利用yolo算法把人脸分成合适大小的区域，再通过红外线发射器发射红外线，相邻的小区域接收的红外线利用matlab平台对接收到的波形图进行分析和计算得出相位差。如果相位差发生很大的变化说明有遮挡影响，利用获取的相位差分析出未遮挡部分。
（二）图片预处理
该内容包括四个部分：（1）图片尺度缩放，利用matlab中工具箱对获取到的图片使用插值法计算出像素的值，进行加权平均来调整图片的大小。（2）图像灰度转换，调整图像的图像的灰度动态范围，提升视觉效果，使图像空间域增强。使用点运算，把输入的RGB图像使用加权法计算每个点的像素灰度值给到对应的RGB分类，转换成灰度图像，公式为GRAY=0.3R+0.59G+0.11B，采用的技术路线如图2所示。（3）直方图均衡化，对直方图有目的的拉伸，强化我们感兴趣的区域，光照条件会影响人脸识别的准确度，为消除这个影响采用直方图均衡化改善输入图像的亮度和对比度[5]。（4）人脸对齐，根据输入图像的特征点建立人脸表达的图像模型与人脸形状模型的关联，使用级联形状回归或深度学习进行人脸对齐。
（三）特征提取
通过LBP提取出未被遮挡部位的特征，对整幅图进行block划分，在每个block中建立cell和lbp直方图对人脸特征细微的纹理进行表达。基于不同的半径，提取多种模式的特征，使lbp具有尺度不变形。把最左边的点逆时针展开，算出十进制数，取其中最小的lbp值，或只记录跳变次数，使lbp特征具有旋转不变性[6]。进行展开提取的特征的形状转换为数学模型进行大小的计算;分析和计算出提取特征的相对位置用于人脸识别;利用直方图均衡化消除人脸识别的光照影響，提高识别的鲁棒性。并利用神经网络卷积层提取图像的二维特征，使用不同的算子检测垂直边缘和水平边缘，利用全连接层把所有特征融合，通过池化层对原始特征信号进行采样，使用非线性激活层决定哪些神经元活跃程度，最后在归一化指数层完成最后输出概率计算。 （四）神经网络训练
神经网络比PCA降维有更好的隐形表达，后期训练采用神经网络对人脸图片进行降维处理，如果识别出现误差，使用反馈型神经网络和以误差为主导的反向传播算法，对人脸识别进行训练。输入的多维向量经过隐藏层计算后输出一个低维向量，输出维的值代表该目标人脸图片的概率。通过神经网络预测结果与标签对比，判断预测准确性。如果发现预测不够好，通过优化器调整网络参数不断优化把损失函数降低，使预测值不断接近真实值，技术路线图3所示。对人脸库中的每一个照片的眼睛和眉毛面积总和占脸部面积的比例作为特征值，按照特征值把人脸库中的图片进行分类。首先当获取到人脸图片时计算出人脸图片的特征值属于那一个范围，然后在这此范围按照未遮挡部分的特征进行比对，减少比对的图片数量提高识别的准确度和速度。技术路线图3所示。
三、結语
本文对口罩遮挡人脸识别方法进行了阐述。当检测到被口罩大面积遮挡的人脸时，基于3d结构光和yolo算法检测未遮挡部分，通过未被遮挡的特征快速为后期识别出目标人脸打下基础。通过对人脸库的图片按照特征分类提高检测效率。利用训练集，测试集和标签使人脸识别的准确度可以通过不断的机器学习得以提高。但基于相位差判断出未遮挡部位，优化算法修改参数降低损失函数还需要进一步研究。
【参考文献】
[1]P Viola，MJones.Robut Real-Time FaceDetection[j].International Journal of Computer Vision 2004，57（2）：137-154.
[2].周孝佳， 朱允斌， 张跃. 基于分块的有遮挡人脸识别算法[J]. 计算机应用与软件， 2018， v.35（02）：190-194+200.
[3].刘瑞钦. An Occlusion Face Recognition Method Based on PCA and HOG%一种基于PCA和HOG有遮挡的人脸识别方法[J]. 电脑知识与技术，2019，015（004）：171-173.
[4].沈闻佳. 有遮挡人脸图像的特征提取和识别研究[D].浙江工业大学，2019：19-43.
[5]. 任艳斐. 直方图均衡化在图像处理中的应用[J]. 科技信息， 2007， 000（004）：37-38.
[6]. 王聃， 李浩茹， 邓春伟. 基于局部区域LBP特征的人脸识别研究[J]. 黑龙江工程学院学报：自然科学版， 2012（03）：50-52+63.
[7].张雪楠. 基于PCA降维的快速人脸检测算法研究[D]. 2016.
[8].张阿妞. 基于优化的LDA与神经网络人脸识别方法研究[D]. 汕头大学.
【关键词】口罩;遮挡人脸;识别方法
一、引言
人脸识别主要分为三类有人脸1：1人脸识别以及1：n人脸识别和n：n人脸识别，1：1对比是指给定两个脸判断是否为同一个人，常用于银行柜台，手机解锁，酒店入住等。1：n对比是一张待检索图片，在大小为n的人脸库中比对判断是否有目标人物，主要用于犯罪侦查。n：n比对是大量的摄像头都在实时抓拍，有很多待确定的抓拍人脸与相对比较大的人脸库进行比对，主要用于小区门禁，安防监控等。早期的人脸识别由于鼻子和嘴巴都会被口罩遮挡，所以很难运用于口罩遮挡的人脸识别，我们将采用卷积层对脸部的边缘特征进行提取并且使用特征部位的相对位置提高准确度。在ICCV中Viola和Jones发表的文章介绍了一个实时的人脸识别检测系统，使人脸检测技术应用于工业界。该技术主要有三个贡献基于Hear-like矩阵特征实现快速计算，基于AdaBoost分类器设计，采用Cascade技术提高了检测速度[1]。但Viola和Jones基于AdaBoost分类器设计的算法不能检测佩戴口罩的人脸复旦大学的周孝佳和上海视频技术与系统工程研究中心的朱允斌等，通过把人脸裁剪出左眼，右眼，鼻子和嘴巴四个区块分别进行特征提取，再根据遮挡判别的结果进行特征融合，从而得到人脸的特征[2]。但是由于口罩是大面积遮挡很难对鼻子和眼睛特征进行提取，其预测结果会产生一定的误差。我们把人脸未遮挡部位的部位眉毛，眼睛进行分块并进行占比分析提高准确度。安徽理工大学的刘瑞欣因为分块提取特征，分块的大小的选择的问题。提出了使用多尺度梯度直方图对分块进行处理，使面部变化更有鲁棒性并且减少特征点的丢失[3]。浙江工业大学的沈闻佳针对小样本问题提出了基于贝叶斯多元分布的特征提取与识别算法，使得遮挡分散尽可能降低遮挡对识别的影响。并且使用梯度脸和马尔夫随机场解决了光照变化时导致的遮挡的人脸识别率偏低的问题[4]。随着科技的进步有越来越多的关于人脸别遮挡的研究方法，尤其深度学习和3D模型的提出，为提高遮挡人脸识别的准确度打开了新的思路。
二、方法步骤
本研究拟采用的技术路线如图1所示，研究采用matlab软件，和基于BSD许可OpenCV视觉库，利用MATLAB Support Package for USB Webcames软件支持包调用摄像头，通过神经网络训练提高人脸识别准确度。详细内容如下：
（一）人脸检测
级联物体检测使用Viola-Jones算法只可以检测出无遮挡的人脸，如果要检测被口罩大面积遮挡的人脸，需要利用图像标签使用TrainCascadeObjectDetector函数来训练自定义的分类器。检测器使用级联分类器来确定窗体中是否包含要检测的对象，被检测的对象大多数是3D的，不同的方向纵横比都会发生变化，因此需要为每个方向训练一个检测器。用训练好的分类器对戴口罩的人脸进行检测，判断出人脸的位置和大小。利用Cascade技术提高人脸检测的速率。检测到人脸之后，基于3d结构光和yolo算法检测未遮挡部分，首先利用yolo算法把人脸分成合适大小的区域，再通过红外线发射器发射红外线，相邻的小区域接收的红外线利用matlab平台对接收到的波形图进行分析和计算得出相位差。如果相位差发生很大的变化说明有遮挡影响，利用获取的相位差分析出未遮挡部分。
（二）图片预处理
该内容包括四个部分：（1）图片尺度缩放，利用matlab中工具箱对获取到的图片使用插值法计算出像素的值，进行加权平均来调整图片的大小。（2）图像灰度转换，调整图像的图像的灰度动态范围，提升视觉效果，使图像空间域增强。使用点运算，把输入的RGB图像使用加权法计算每个点的像素灰度值给到对应的RGB分类，转换成灰度图像，公式为GRAY=0.3R+0.59G+0.11B，采用的技术路线如图2所示。（3）直方图均衡化，对直方图有目的的拉伸，强化我们感兴趣的区域，光照条件会影响人脸识别的准确度，为消除这个影响采用直方图均衡化改善输入图像的亮度和对比度[5]。（4）人脸对齐，根据输入图像的特征点建立人脸表达的图像模型与人脸形状模型的关联，使用级联形状回归或深度学习进行人脸对齐。
（三）特征提取
通过LBP提取出未被遮挡部位的特征，对整幅图进行block划分，在每个block中建立cell和lbp直方图对人脸特征细微的纹理进行表达。基于不同的半径，提取多种模式的特征，使lbp具有尺度不变形。把最左边的点逆时针展开，算出十进制数，取其中最小的lbp值，或只记录跳变次数，使lbp特征具有旋转不变性[6]。进行展开提取的特征的形状转换为数学模型进行大小的计算;分析和计算出提取特征的相对位置用于人脸识别;利用直方图均衡化消除人脸识别的光照影響，提高识别的鲁棒性。并利用神经网络卷积层提取图像的二维特征，使用不同的算子检测垂直边缘和水平边缘，利用全连接层把所有特征融合，通过池化层对原始特征信号进行采样，使用非线性激活层决定哪些神经元活跃程度，最后在归一化指数层完成最后输出概率计算。 （四）神经网络训练
神经网络比PCA降维有更好的隐形表达，后期训练采用神经网络对人脸图片进行降维处理，如果识别出现误差，使用反馈型神经网络和以误差为主导的反向传播算法，对人脸识别进行训练。输入的多维向量经过隐藏层计算后输出一个低维向量，输出维的值代表该目标人脸图片的概率。通过神经网络预测结果与标签对比，判断预测准确性。如果发现预测不够好，通过优化器调整网络参数不断优化把损失函数降低，使预测值不断接近真实值，技术路线图3所示。对人脸库中的每一个照片的眼睛和眉毛面积总和占脸部面积的比例作为特征值，按照特征值把人脸库中的图片进行分类。首先当获取到人脸图片时计算出人脸图片的特征值属于那一个范围，然后在这此范围按照未遮挡部分的特征进行比对，减少比对的图片数量提高识别的准确度和速度。技术路线图3所示。
三、結语
本文对口罩遮挡人脸识别方法进行了阐述。当检测到被口罩大面积遮挡的人脸时，基于3d结构光和yolo算法检测未遮挡部分，通过未被遮挡的特征快速为后期识别出目标人脸打下基础。通过对人脸库的图片按照特征分类提高检测效率。利用训练集，测试集和标签使人脸识别的准确度可以通过不断的机器学习得以提高。但基于相位差判断出未遮挡部位，优化算法修改参数降低损失函数还需要进一步研究。
【参考文献】
[1]P Viola，MJones.Robut Real-Time FaceDetection[j].International Journal of Computer Vision 2004，57（2）：137-154.
[2].周孝佳， 朱允斌， 张跃. 基于分块的有遮挡人脸识别算法[J]. 计算机应用与软件， 2018， v.35（02）：190-194+200.
[3].刘瑞钦. An Occlusion Face Recognition Method Based on PCA and HOG%一种基于PCA和HOG有遮挡的人脸识别方法[J]. 电脑知识与技术，2019，015（004）：171-173.
[4].沈闻佳. 有遮挡人脸图像的特征提取和识别研究[D].浙江工业大学，2019：19-43.
[5]. 任艳斐. 直方图均衡化在图像处理中的应用[J]. 科技信息， 2007， 000（004）：37-38.
[6]. 王聃， 李浩茹， 邓春伟. 基于局部区域LBP特征的人脸识别研究[J]. 黑龙江工程学院学报：自然科学版， 2012（03）：50-52+63.
[7].张雪楠. 基于PCA降维的快速人脸检测算法研究[D]. 2016.
[8].张阿妞. 基于优化的LDA与神经网络人脸识别方法研究[D]. 汕头大学.