多模态行人重识别算法研究

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:yangxmscuosaka
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着城市监控网络的不断完善,行人重识别技术由于其潜在的应用价值而受到越来越多研究人员的关注。行人重识别,又称为行人再识别或跨镜追踪,是近年来计算机视觉领域最热门的研究课题之一。给定一个待检索的行人图像,行人重识别的任务是检索出一段时间内在不同区域摄像机所拍摄到的该行人的所有图像,它在行人追踪、行为分析等方面有着广泛的应用,并且其在可控(特定数据集)条件下取得了较高的准确率。但在实际监控条件下,由于受到背景、光照、视角、硬件条件等客观因素的影响,使得行人重识别成为一个具有挑战性的问题。另外,除了上述在可见光条件下的限制之外,还有来自由于摄像机成像原理而造成模态差异的问题。因此,本文针对行人重识别技术中行人可见光单模态、可见光与近红外跨模态所面临模态差异的问题而展开研究。具体内容主要表现在以下两个方面:针对可见光单模态下人体姿态不匹配、语义区域难以对齐的问题,本文提出了一种基于多粒度人体语义解析的行人重识别算法。首先给定一张带有关键点注释的行人图像并进行检索;其次将上述所得到的检索结果进行聚类分析以得到相应的先验信息;最后基于其先验信息对神经网络模型进行优化得到最终的行人图像解析结果,即完成人体结构的四个基本语义部分(头部、上身、大腿、小腿)以构成多粒度人体语义结构信息。最后通过softmax和三元组损失函数分类学习以得到行人相应的全局和局部语义特征,以提升行人重识别的精度。针对可见光与近红外跨模态下行人存在模态差异的问题,本文提出了 一种基于图像和特征联合约束的跨模态行人重识别算法。假设可见光与近红外在某个特定的中间模态具有相同的数据分布,因此,本文通过一种基于特征和图像联合约束的CycleGAN中间模态生成解码器,以保证其所生成的行人具有身份一致性,将可见光模态和近红外模态分别映射到同一个具有相同数据分布的特征空间,以此减少行人外貌特征在两种模态下的差异,进而提升跨模态下的行人重识别精度。本文的贡献主要包括以下几个方面:1)针对可见光单模态下行人存在姿态不匹配和语义区域难以对齐的问题,本文提出了一种基于多粒度人体语义解析的行人重识别算法。通过对人体多姿态结构化的解析,实现了多粒度行人语义分割区域的精准化描述,提升了可见光单模态下行人重识别的精度。2)针对可见光与近红外跨模态下行人存在模态差异的问题,本文提出了一种基于图像和特征联合约束的跨模态行人重识别算法。通过可见光和近红外模态之间所存在一种新的中间模态生成器,使得近红外与可见光在此中间模态空间中具有相同的数据分布,减小行人外貌特征在两种模态下的差异,以提升行人重识别的精度。3)针对跨模态行人重识别数据集匮乏的问题,本文提出了一个基于跨模态评估的行人重识别数据集,填补了当前跨模态行人重识别实验数据集匮乏的空白,进一步促进了行人重识别研究的进展。
其他文献
期刊
3月26日,美航宇局副局长莱特富特在“小行星倡议机遇论坛”上说,该局“小行星转向任务”的前半部分,即找出一颗小型小行星并用一个新型无人航天器将其拖回到一条月球存放轨道,估
马来西亚东亚卫星全球公司已选定由其发射MEASAT-3b通信卫星。这是阿里安公司2011年拿到的第10份发射合同。发射将在2013年第4季度由阿里安5火箭在库鲁进行。MEASAT-3b正在由
<正>2月20日下午,丙申猴年元宵节前夕,安博之友特别推出了一场"别样徽州年之记忆中的美食"春节系列活动,受到前来参与的30余组家庭的热烈欢迎。活动从"我的春节故事"开场,一
会议
20多年改革开放的实践经验表明:随着计划经济逐步退出历史舞台,市场经济逐步确立起来,收入的分配也逐渐打破实际上的平均主义分配原则,取而代之的是按生产要素分配原则的逐步
优选4.86tex长绒棉纱线与2.22tex氨纶长丝为原料,在高机号双面圆纬机上开发高密双罗纹纬编织物。介绍细针距低张力纬编技术及染整过程中烧毛、酶处理、染色、柔软拉幅定型和
随着世界范围内肥胖人口的逐年增加,非酒精性脂肪性肝病(non-alcoholic fatty liver disease,NAFLD)和2型糖尿病(diabetes mellitus,type 2,T2DM)患病率也越来越高。肥胖与脂
美国海军在陆上模拟舰试验了“标准”-6导弹拦截中程超声速目标的能力,并获得成功,验证了该型导弹关键防御能力。
俄罗斯联邦航天局近日发布了2012年底由俄政府审议通过的“2013年-2020年俄罗斯火箭及航天工业发展规划”。根据规划,2020年前俄将投入约合690亿美元来发展航天。俄未来航天领
地震次生灾害对城市造成的破坏和影响是极为严重的 ,有时甚至超过地震直接造成的灾害损失。因此 ,充分认识和防范地震次生灾害对城市的冲击和影响 ,对防御和减轻城市灾害具有