论文部分内容阅读
社会的快速发展和人们日益增长的安全需求推动了视频监控的迅猛发展,行人重识别在安全监控、刑事侦查和目标再识别应用中具有重要作用,并在机器视觉和人工智能领域引起了广泛关注。大量的研究人员投入到行人重识别研究领域中,并取得了丰富的研究成果。目前大量的行人重识别研究主要是集中在正常场景下进行开展的,即行人与相机的距离基本固定、光照相对充足以及遮挡较少等场景,针对行人重识别中出现的问题提出了对应的解决方案并获得了良好的效果。但在实际场景中,由于天气的变化、行人的运动、相机的分辨率以及光照的变化等因素,这些变化的不利因素增加了行人重识别研究的难度,使得行人重识别研究更具有挑战性。(i)由于受到存储设备容量的限制以及可能出现的色彩线路故障等因素,导致获取的样本没有RGB彩色信息而只保留了灰度信息。目前还没有一个公开的灰度行人视频标准数据集,并且很少有学者研究补偿视频彩色信息丢失来提升识别率的问题。(ii)在实际场景中,特别是在夜间很多场合的光线较低,曝光度不足导致拍摄到的行人样本信息含量较少。目前虽然公开的一些数据集中存在光照变化的问题,但还没有公开一个标准的夜间低光照行人视频数据集。如何改善由于低光照对行人样本信息丢失造成的不利影响是行人重识别研究中一项亟待解决的任务。(iii)在实际监控中,由于不同监控设备的分辨率的差别以及与行人之间的距离远近变化等因素导致获取的行人样本分辨率不一致。高分辨率样本包含的有效信息较多,而低分辨率样本包含的有效信息相对较少。目前大多数研究主要集中在不同分辨率图像方面的识别,然而对不同分辨率视频行人重识别研究较少。(iv)在刑事侦查等社会安全应用场景中,由于目标嫌疑人的图像样本较难获取,而目击证人对嫌疑人外观特征的描述则为目标检索提供了可能。目击者的描述更多的是对目标嫌疑人的外观、衣着颜色和款式等特征粗略的刻画。虽然由这种描述来绘制的行人彩色插图风格样本包含的行人纹理等细节性的信息相对较少,但能够建立彩色插图风格的人物图片(人物插图)与真实照片之间的关联。目前针对人物插图样本与正常拍摄的行人图像之间的匹配研究相对较少。本文针对行人重识别研究中存在的以上四个方面的复杂场景下的新问题进行深入的分析与研究,并针对新问题构建了新的模型以及优化方案,在研究过程中取得了一些有价值的成果:(1)为了解决真彩色与灰度视频行人重识别问题,降低灰度视频有效信息丢失的产生的影响,本文提出了一种基于半耦合映射字典对学习的方法。该方法首先对不同摄像头中每个行人的视频样本子集分别学习一个视频内紧致投影矩阵,然后分别学习灰度字典和真彩色字典,并利用编码系数学习一个真彩色与灰度样本之间的半耦合映射以建立异质样本之间的内在关系。为保证学习到的映射和字典对具有良好的鉴别力,该方法在字典对的学习过程中设计了鉴别保真项和正则项。本文采集并发布了一个新的灰度-真彩色行人视频基准数据集,为后续研究提供了丰富的数据样本。(2)针对低光照场景下的行人重识别问题,本文提出了一种基于三元组流形鉴别距离度量学习方法。该方法首先利用测地距离将每个行人的视频序列进行划分并构建多个局部线性模型,然后学习距离度量。具体地,将每一个行人的视频序列集合看做对应的样本集,然后利用测地距离对每个样本集构建局部线性模型;利用构建的多个局部线性模型,学习距离度量矩阵使得类内距离最小以及类间距离最大,进而实现低光照场景下的行人匹配工作。为了填补低光照行人数据集的空白,本文采集并公开了一个新的低光照行人视频基准数据集。(3)为了解决低分辨率与高分辨率场景下的行人视频样本分辨率不一致的问题,本文提出了一种基于映射补偿矩阵的集对集的距离学习方法。该方法首先将视频序列划分成对应的子集提取特征,然后学习一个低分辨率到高分辨率之间的半耦合映射,最后学习一个基于集对集的鉴别度量。具体地,该方法将每个行人完整的视频序列利用步态周期的方法划分成多个视频帧序列子段,然后将视频子序列作为对应的样本子集提取特征向量;针对低分辨率导致样本有效信息的丢失问题,本文设计了一个半耦合映射矩阵来补偿样本丢失的信息,能够降低低分辨率带来的影响。该方法学习一个基于集对集的鉴别度量能够最小化类内距离,同时最大化类间距离,进而提升模型的鉴别能力。为了提供一个真实场景的低分辨率视频数据集,本文采集并发布了一个新的低分辨率与高分辨率视频行人基准数据集。(4)为了解决彩色插图风格人物图片场景下的行人重识别问题,本文提出了一种基于半耦合鉴别字典学习的方法。该方法能够对彩色人物插图样本和正常拍摄照片样本分别学习字典对,然后学习异质样本对之间的映射关系,来降低人物插图样本丢失的信息。具体地,由于人物插图样本和真实照片的样本生成的方式不同,因而两类样本具有异质性。为了解决样本异质性问题,本文提出采用半耦合技术来学习异质样本对之间的映射关系。利用学习到的半耦合映射矩阵能够降低异质样本之间的差异,进而提升行人重识别匹配准确率。为了提供一个彩色人物插图与真实照片行人数据,本文采集并绘制了一个彩色人物插图与真实照片的行人基准数据集。