论文部分内容阅读
近年来，行人再识别在安防监控、智能搜索等领域被广泛应用，因此得到了工业界和学术界的广泛关注。它源于视频监控的基本需求，即在多个摄像头场景下，检索特定的行人对象。然而，行人图像极易遭受行人姿态变化、异物遮挡、光照强度差异以及背景多变等因素的影响。因此，行人再识别是一项具有挑战性的工作。
为了克服以上问题，本文使用深度神经网络搭建深度模型，提取行人图像的深度特征，捕捉局部关系的有效信息，并且提出有效的损失函数训练优化深度模型。本文主要贡献如下：
1、为了提取行人图像的全局和多尺度局部信息，本文提出基于粗糙-精细卷积神经网络的行人再识别方法。该方法构造一个多分支神经网络从而同时学习全局特征和多尺度局部特征。对于全局特征，设计粗糙分支提取整个行人图像的全局特征。同时，设计精细分支学习行人图像不同区域的多尺度局部特征。最后，将全局特征和多尺度局部特征进行串联得到行人图像的最终特征表示。
2、为了同时学习类间-局部关系和类内-局部关系，本文提出基于部件引导图卷积网络的行人再识别方法。该方法构造类间-局部图和类内-局部图分别学习类间-局部关系和类内-局部关系。对于类间-局部关系，从行人图像的对应区域提取局部特征作为节点构造类间-局部图，计算节点间的相似度，得到邻接矩阵，从而聚合不同行人图像对应区域的局部特征。对于类内-局部关系，从同一行人图像的不同区域提取局部特征作为节点构造类内-局部图。同时，设计部分动态机制优化算法，进而精准地优化邻接矩阵，聚合同一行人图像的不同区域的局部特征。最后，将得到的对应同一区域聚合后的局部特征串联，得到行人图像的最终特征表示。
3、为了区分行人图像不同区域的重要性，本文提出基于异构局部图注意力网络的行人再识别方法。该方法构造一个完备局部图用于同时学习类间-局部关系和类内-局部关系，利用注意力机制计算注意力权重，并且聚合不同区域的局部特征得到行人图像的最终特征表示。对于类间-局部关系，设计类间-局部边线用于连接不同行人图像的对应区域和邻接区域，提出了注意力正则化损失函数约束类间-局部关系的注意力权重。对于类内-局部关系，设计类内-局部边线用于连接同一行人图像的不同区域，并提出在类内-局部关系的注意力权重中注入上下文信息，增强特征表示能力。
本文探索了行人图像不同区域之间的局部关系，将局部信息嵌入到局部特征学习中，强化了局部特征表示能力，在四个公开的大规模行人再识别数据集上取得了较好的实验结果，证明了提出方法的有效性。
为了克服以上问题，本文使用深度神经网络搭建深度模型，提取行人图像的深度特征，捕捉局部关系的有效信息，并且提出有效的损失函数训练优化深度模型。本文主要贡献如下：
1、为了提取行人图像的全局和多尺度局部信息，本文提出基于粗糙-精细卷积神经网络的行人再识别方法。该方法构造一个多分支神经网络从而同时学习全局特征和多尺度局部特征。对于全局特征，设计粗糙分支提取整个行人图像的全局特征。同时，设计精细分支学习行人图像不同区域的多尺度局部特征。最后，将全局特征和多尺度局部特征进行串联得到行人图像的最终特征表示。
2、为了同时学习类间-局部关系和类内-局部关系，本文提出基于部件引导图卷积网络的行人再识别方法。该方法构造类间-局部图和类内-局部图分别学习类间-局部关系和类内-局部关系。对于类间-局部关系，从行人图像的对应区域提取局部特征作为节点构造类间-局部图，计算节点间的相似度，得到邻接矩阵，从而聚合不同行人图像对应区域的局部特征。对于类内-局部关系，从同一行人图像的不同区域提取局部特征作为节点构造类内-局部图。同时，设计部分动态机制优化算法，进而精准地优化邻接矩阵，聚合同一行人图像的不同区域的局部特征。最后，将得到的对应同一区域聚合后的局部特征串联，得到行人图像的最终特征表示。
3、为了区分行人图像不同区域的重要性，本文提出基于异构局部图注意力网络的行人再识别方法。该方法构造一个完备局部图用于同时学习类间-局部关系和类内-局部关系，利用注意力机制计算注意力权重，并且聚合不同区域的局部特征得到行人图像的最终特征表示。对于类间-局部关系，设计类间-局部边线用于连接不同行人图像的对应区域和邻接区域，提出了注意力正则化损失函数约束类间-局部关系的注意力权重。对于类内-局部关系，设计类内-局部边线用于连接同一行人图像的不同区域，并提出在类内-局部关系的注意力权重中注入上下文信息，增强特征表示能力。
本文探索了行人图像不同区域之间的局部关系，将局部信息嵌入到局部特征学习中，强化了局部特征表示能力，在四个公开的大规模行人再识别数据集上取得了较好的实验结果，证明了提出方法的有效性。