论文部分内容阅读
行人重识别是指在跨摄像头的场景下进行行人的匹配。它是计算机视觉中的热门研究领域之一。在实际应用场景中,摄像机拍摄角度的变化、身体部件被拍摄场景中物体遮挡以及行人姿态存在多变性等问题使得行人在检测框内的空间上不对齐,这给行人重识别的特征提取阶段带来了极大的挑战性。因此,如何在跨视角场景下获取具有高判别力的特征是行人重识别的研究重点。针对以上问题,本文提出了基于密集3D部件对齐的行人重识别方法研究。具体内容如下:
(1)基于密集3D人体姿态估计的部件对齐。大量的工作使用2D人体姿态估计方法获得对齐的行人图像。然而,姿态估计误差会导致框架无法精确地检测到关节。在此情况下,大量部件会丢失。其次,由于2D空间下的信息有限,同一行人在不同的图像中可能包含的部件信息并不相同。借鉴DensePose模型,本文提出了多帧补全的密集3D部件对齐算法,将行人对齐到像素级别的3D密集空间中。即使有部分部件无法被检测,利用多帧补全的策略可以缓解DensePose模型部件信息完全丢失或部分损失的问题。
(2)基于密集3D部件对齐的行人重识别。为了进一步提升密集3D部件特征的鲁棒性,我们设计了一个像素对齐的多分支部件重建网络,将行人图像上的像素点映射到一个统一的密集对齐空间。具体来说,我们采用的是多任务学习方案。它包含部件重建任务和行人重识别任务。在重构子网中,我们分配了重建24个部件图的任务,同时在主干网络中进行特征表示学习任务,来学习密集对齐特征。实验结果表明,我们的方法具有很好的效果,并优于许多前沿的方法。
本文通过以上研究,解决了行人重识别任务中的行人不对齐问题。首先,采用DensePose模型以及多帧补全的策略构建密集3D对齐部件图。然后,设计了一个特征表示学习网络来提取密集3D部件对齐特征。最终的实验中,我们的方法取得了较好的成绩,对研究行人重识别中的行人部件在空间中不对齐的问题具有参考价值。
(1)基于密集3D人体姿态估计的部件对齐。大量的工作使用2D人体姿态估计方法获得对齐的行人图像。然而,姿态估计误差会导致框架无法精确地检测到关节。在此情况下,大量部件会丢失。其次,由于2D空间下的信息有限,同一行人在不同的图像中可能包含的部件信息并不相同。借鉴DensePose模型,本文提出了多帧补全的密集3D部件对齐算法,将行人对齐到像素级别的3D密集空间中。即使有部分部件无法被检测,利用多帧补全的策略可以缓解DensePose模型部件信息完全丢失或部分损失的问题。
(2)基于密集3D部件对齐的行人重识别。为了进一步提升密集3D部件特征的鲁棒性,我们设计了一个像素对齐的多分支部件重建网络,将行人图像上的像素点映射到一个统一的密集对齐空间。具体来说,我们采用的是多任务学习方案。它包含部件重建任务和行人重识别任务。在重构子网中,我们分配了重建24个部件图的任务,同时在主干网络中进行特征表示学习任务,来学习密集对齐特征。实验结果表明,我们的方法具有很好的效果,并优于许多前沿的方法。
本文通过以上研究,解决了行人重识别任务中的行人不对齐问题。首先,采用DensePose模型以及多帧补全的策略构建密集3D对齐部件图。然后,设计了一个特征表示学习网络来提取密集3D部件对齐特征。最终的实验中,我们的方法取得了较好的成绩,对研究行人重识别中的行人部件在空间中不对齐的问题具有参考价值。