论文部分内容阅读
近年来,随着城市监控网络的不断完善,行人重识别技术由于其潜在的应用价值而受到越来越多研究人员的关注。行人重识别,又称为行人再识别或跨镜追踪,是近年来计算机视觉领域最热门的研究课题之一。给定一个待检索的行人图像,行人重识别的任务是检索出一段时间内在不同区域摄像机所拍摄到的该行人的所有图像,它在行人追踪、行为分析等方面有着广泛的应用,并且其在可控(特定数据集)条件下取得了较高的准确率。但在实际监控条件下,由于受到背景、光照、视角、硬件条件等客观因素的影响,使得行人重识别成为一个具有挑战性的问题。另外,除了上述在可见光条件下的限制之外,还有来自由于摄像机成像原理而造成模态差异的问题。因此,本文针对行人重识别技术中行人可见光单模态、可见光与近红外跨模态所面临模态差异的问题而展开研究。具体内容主要表现在以下两个方面:针对可见光单模态下人体姿态不匹配、语义区域难以对齐的问题,本文提出了一种基于多粒度人体语义解析的行人重识别算法。首先给定一张带有关键点注释的行人图像并进行检索;其次将上述所得到的检索结果进行聚类分析以得到相应的先验信息;最后基于其先验信息对神经网络模型进行优化得到最终的行人图像解析结果,即完成人体结构的四个基本语义部分(头部、上身、大腿、小腿)以构成多粒度人体语义结构信息。最后通过softmax和三元组损失函数分类学习以得到行人相应的全局和局部语义特征,以提升行人重识别的精度。针对可见光与近红外跨模态下行人存在模态差异的问题,本文提出了 一种基于图像和特征联合约束的跨模态行人重识别算法。假设可见光与近红外在某个特定的中间模态具有相同的数据分布,因此,本文通过一种基于特征和图像联合约束的CycleGAN中间模态生成解码器,以保证其所生成的行人具有身份一致性,将可见光模态和近红外模态分别映射到同一个具有相同数据分布的特征空间,以此减少行人外貌特征在两种模态下的差异,进而提升跨模态下的行人重识别精度。本文的贡献主要包括以下几个方面:1)针对可见光单模态下行人存在姿态不匹配和语义区域难以对齐的问题,本文提出了一种基于多粒度人体语义解析的行人重识别算法。通过对人体多姿态结构化的解析,实现了多粒度行人语义分割区域的精准化描述,提升了可见光单模态下行人重识别的精度。2)针对可见光与近红外跨模态下行人存在模态差异的问题,本文提出了一种基于图像和特征联合约束的跨模态行人重识别算法。通过可见光和近红外模态之间所存在一种新的中间模态生成器,使得近红外与可见光在此中间模态空间中具有相同的数据分布,减小行人外貌特征在两种模态下的差异,以提升行人重识别的精度。3)针对跨模态行人重识别数据集匮乏的问题,本文提出了一个基于跨模态评估的行人重识别数据集,填补了当前跨模态行人重识别实验数据集匮乏的空白,进一步促进了行人重识别研究的进展。