论文部分内容阅读
多模态识别技术通过融合多种特征信息进行身份认证，具有高防伪性和稳定性等优点。指静脉和指节纹特征获取方便、特征稳定、不易伪造，成为多模态识别技术重要的研究对象，但是指部多模态研究仍存在一些问题值得研究。手指姿势的偏移、光照、采集光谱波长易引起类内差异高和类间差异低，导致特征提取困难，而且多模态融合过程中增加了特征维数和计算复杂度。如何有效地提取图像特征信息，并且实现特征融合，成为多模态特征识别该领域中关键问题。卷积神经网络(Convolutional neural Network，CNN)能够自主抽象出图像的高层语义信息，在多模态生物特征识别领域获得广泛关注。因此，本文以指静脉图和指节纹图像为对象，研究一种基于CNN指部双模态特征识别方法。主要内容如下:
(1)分析了图像质量对特征提取效果的影响，针对手指静脉图像对比度低问题，引入简化NL模块用于静脉特征图全局上下文信息建模，最大程度保留静脉图像全局信息，并进一步设计NL-ResNet提取指静脉特征。针对手指关节纹图像偏移现象，采用多分辨图像输入策略，并搭建双流网络实现指节纹特征提取，此方法可以在一定程度上弥补手指节纹图像偏移问题。实验表明，两种方案能够有效地提高单模态特征识别系统性能。
(2)为了融合模型能够兼顾手指静脉和指节纹特征之间相关性，以及增强融合特征的多样性，提出多尺度特征融合模块MSIF，用于融合网络每层模块的多尺度特征。以提高手指静脉和指节纹融合特征的判别能力，使得基于CNN多模态特征识别在指部生物特征识别上获取更好效果。
(3)针对多特征融合后，特征信息复杂度上升造成网络拟合困难，提出注意力卷积二叉树模块。通过树状结构结合位置注意力机制和通道注意力机制，以强调重要的空间和通道信息，提高网络拟合效率。
分别在MMCBNU_6000、SDUMLA-HIT、PolyU-FV三个指静脉数据库和PolyU-FKP指节纹数据库上进行实验，证明本文所提出的单模态特征提取方法有效性。同时，基于以上四个单模态数据库重新组合成双模态数据库，进行对比实验，说明本文提出的特征融合方法的效果优于一些常用方法。
(1)分析了图像质量对特征提取效果的影响，针对手指静脉图像对比度低问题，引入简化NL模块用于静脉特征图全局上下文信息建模，最大程度保留静脉图像全局信息，并进一步设计NL-ResNet提取指静脉特征。针对手指关节纹图像偏移现象，采用多分辨图像输入策略，并搭建双流网络实现指节纹特征提取，此方法可以在一定程度上弥补手指节纹图像偏移问题。实验表明，两种方案能够有效地提高单模态特征识别系统性能。
(2)为了融合模型能够兼顾手指静脉和指节纹特征之间相关性，以及增强融合特征的多样性，提出多尺度特征融合模块MSIF，用于融合网络每层模块的多尺度特征。以提高手指静脉和指节纹融合特征的判别能力，使得基于CNN多模态特征识别在指部生物特征识别上获取更好效果。
(3)针对多特征融合后，特征信息复杂度上升造成网络拟合困难，提出注意力卷积二叉树模块。通过树状结构结合位置注意力机制和通道注意力机制，以强调重要的空间和通道信息，提高网络拟合效率。
分别在MMCBNU_6000、SDUMLA-HIT、PolyU-FV三个指静脉数据库和PolyU-FKP指节纹数据库上进行实验，证明本文所提出的单模态特征提取方法有效性。同时，基于以上四个单模态数据库重新组合成双模态数据库，进行对比实验，说明本文提出的特征融合方法的效果优于一些常用方法。