基于细粒度特征融合的多模态行人重识别方法研究

来源 :天津理工大学 | 被引量 : 0次 | 上传用户:lgb0532
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
行人重识别(Person Re-Identification,re-id)是指利用计算机视觉技术在指定视频或图片序列中对特定行人进行识别的技术,通常被认为是图像分类或图像检索的子问题。作为跨摄像头行人轨迹跟踪、行人行为识别等机器视觉方案的核心构成,行人重识别技术在园区安防、公安刑侦、交通纠违与公共安全等领域展现出广阔的应用前景。在实际应用中,因受到前景遮挡、背景噪声、行人姿态的非刚性形变以及光照变化等诸多外在因素影响,当前行人重识别任务依然面临着巨大的挑战。现有行人重识别方法大多基于图像视觉信息进行分类,一方面缺乏对于语义信息的进一步挖掘与充分利用,另一方面忽略了不同模态的信息交互。本文围绕行人重识别研究领域的多项关键问题进行系统深入的研究,对关系特征潜力发掘、颜色特征过度依赖、遮挡算法缺乏通用性、注意力模型训练困难等问题展开探索,取得成果如下:1.提出一种基于局部-全局关联特征关系信息挖掘的行人重识别方法。区别于专注获取局部图像细节特征进行检索的方式,本文对不同语义分区特征间的隐藏关联展开推理,以挖掘对行人识别结果存在因果关联的关键关系信息,并针对其核心网络模块设计展开深入探讨。该方法利用全局特征的全局感受野特性将其与特定图像区域表征进行叠加,手动构建不同粒度下的成对的关联特征对,实现不同语义分区下多粒度特征关联。通过局部图像上下文感知及“局部-整体”特征对构建,驱动模型对不同粒度特征间关联信息展开推理,进一步挖掘对分类结果至关重要的深层次关系信息,以克服传统基于局部特征的re-id方法在关系表示构建方面的不足。全局图像区域覆盖加局部显著特征补充的做法,也在一定程度上缓解了由于姿态变化、遮挡、错误剪裁而导致的关键点不对齐问题。2.针对深度re-id模型过度依赖颜色表征问题,提出了一种颜色通道控制非局部注意力网络,用于加强多分支网络框架下基于关系感知的颜色鲁棒特征学习。该网络通过原始图像样本与通道调整图像样本的成对输入,人为加入颜色扰动信息,有效增强了非局部注意力模型获取对颜色鲁棒特征的能力。此外,该方法提供了一种一致性约束下的训练数据增强方法,通过对颜色通道的随机调整及通道调换进行数据集增扩。该方法可部分模拟行人在不同光照条件下表现以及不同摄像机之间的颜色偏好差异,增强模型最终表征对颜色的鲁棒性,有效提升了深度学习模型泛化能力。3.针对遮挡行人重识别场景,提出了一种人体姿态信息引导的局部特征融合模型,通过对原始图像表征与包含姿态估计信息表征在不同粒度进行融合以获得良好的最终特征表示。该模型通过融合姿态估计先验信息的特征与常规图像特征在不同粒度上的结合,协同考虑了不同网络分支在共享图像区域内所存在显性响应关联,通过引入外部监督信号完成独立分支先验标签差异化构建,以进一步基于人体可见区域图像表示进行关系推理与特征学习。实验表明该方法不仅在遮挡行人重识别数据集上取得了优异的性能,在常规的非遮挡行人行重识别数据集上同样达到了有竞争力的水平。4.提出一种姿态估计信息引导的半监督行人重识别网络模型。针对基于注意力的行人重识别模型缺乏结构化约束、训练困难的问题,该模型利用融合姿态估计信息的特征对输入样本高响应行人可见图像区域进行标注,通过教师-学生双网络监督模式,在统一深度学习框架下实现深层语义信息与注意力特征的协同学习与表达。通过外部监督信号驱动注意力聚类,模型根据已有语义特征分区推理出显著图像表征规律,有效增强了基于注意力的行人重识别模型在稀疏特征样本分布下获取高判别性特征的能力。
其他文献
电催化CO2还原反应(CO2RR)可在常温、常压条件下,将CO2转化为高附加值化学品。但由于CO2高的热力学稳定性,导致反应的过电势高、催化活性低、产物复杂等问题。其中,将CO2还原成CO成本最低,最具应用前景。目前,贵金属(如金(Au))和单原子催化剂(SACs)在电催化CO2还原反应中对产物CO表现出高的选择性。但贵金属催化剂用量大,成本高;单原子催化剂结构单一,对于多分子参与和多电子转移的C
学位
金属硫属化物具有特殊的物理化学性质和多样的结构特征,能广泛应用于光电催化、快离子导电、发光及非线性光学等领域。其中,金属硫属化物作为离子交换材料用于放射性等有害金属离子的去除表现优异,逐渐受到人们的关注。金属硫属化物中的硫属原子(S或Se)具有软碱性,对相对较软的离子(如Cs+、Sr2+、Ba2+离子)有较好的亲和力。另一方面,该材料表现出灵活的配位模式,良好的框架柔韧性、能构造出尺寸不同、形态各
学位
儿童戏剧作为一种特殊的文化载体、思想资源,是培塑少年儿童健康心智的重要工具。“十七年”期间我国引进了马尔夏克《十二个月》、米哈尔科夫《红领巾》等一批优秀苏联儿童戏剧,不仅是俄罗斯儿童文学和儿童戏剧的重要组成部分,而且对中国当代儿童戏剧的影响深远,极具研究价值。本文重点梳理了中俄两国儿童戏剧发展史学研究以及相关理论研究,详细介绍了观察库和参照库的建设方案、研究工具以及分析方法,并基于自建语料库,结合
学位
Navβ1亚基是电压门控钠离子通道的辅助亚基之一,调控通道的门控特性,以及通道的激活和失活。而Navβ1亚基对KCNQ通道的调控作用尚不清晰。文章利用全细胞膜片钳技术检测了Navβ1亚基对异源表达的KCNQ通道及其亚型的电流调控特征。实验结果发现,Navβ1亚基可以差异性调控KCNQ通道的电流特性,抑制KCNQ1和KCNQ2通道的活性,而激活KCNQ3和KCNQ4通道,延缓KCNQ1通道的激活,易
期刊
当前,全球经济的高速发展和人口的持续增加,人们对能源的需求不断增多,由此引发的能源消耗以及环境污染问题越发严重。开发清洁和可再生能源转换技术,对解决当前的能源和环境危机有重要意义。利用太阳能或太阳能转化的电能催化能源小分子活化转化,已成为当前研究领域的热点课题。本文利用地球储量丰富的过渡金属钴,合成了钴基分子和聚合催化剂,并对其光催化CO2还原和电催化水氧化性能进行了研究。具体研究内容主要分为以下
学位
氢能是一种绿色环保、能量密度高的二次能源,氢能的发展应用可以有效解决因化石能源过度使用带来的种种问题。电解水是一种能够有效获取氢能的制氢工艺,然而电解水反应过程中因极化反应的存在极大降低了电解水制氢的效率,因此电解水制氢的发展需要高效电催化剂来降低反应过程中的过电位。贵金属催化剂Ru O2和Pt虽然能够明显降低过电位,但是由于贵金属材料的价格高、储量少等因素限制了贵金属催化剂材料的大规模使用。因此
学位
在中国文学批评中,“诗话”是其中重要的一种论诗体裁。“诗话”正式得名于欧阳修,他在《六一诗话》说自己“退居汝阴,而集以资闲谈”[1]264,而“以资闲谈”显示出当时诗话的创作初衷即是娱乐和闲谈。在南宋时,“诗话”这一批评形式逐渐理论化、体系化,张戒的《岁寒堂诗话》正是这一过渡时期的诗话代表。本文以《岁寒堂诗话》为研究对象,从张戒在《岁寒堂诗话》中体现的诗歌批评标准、诗歌批评方法、“尊杜”和反“苏黄
学位
随着世界人口的快速增长与工业化的持续扩张,传统化石能源的过度消耗不仅引发了能源危机,大量CO2等温室气体的排放还带来了一系列环境问题。人工光合作用通过利用太阳能将CO2还原为高附加值燃料或者化学品,既有助于减缓化石燃料的消耗,又与国家“双碳”重大战略不谋而合。当前,发展高效低成本人工光合作用催化剂是推动该技术商业化进程的关键。卤化钙钛矿材料因其具有成本低廉、高吸收系数、易调控的能带结构、长载流子寿
学位
复杂网络是研究现实生活中计算机网络、社会网络、交通网络和生物网络等各种复杂系统的一种有力工具。复杂网络上的传播动力学为模拟和预测各种复杂现象提供了理论和方法上的支持,目前已在传染病、计算机病毒和信息等传播现象的研究中得到了广泛的应用。随着社会和经济的发展,通信和交通的方式越来越多样化,速度和效率也有了很大的提升。传染病会由于人员流动的加剧很快在不同城市之间发生传播,由传染病引发的相关信息也往往会在
学位
职业教育在我国国民教育体系中占有举足轻重的地位,2021年4月12日召开的全国职业教育大会要求全力推进职业教育高质量发展。2022年5月1日,新修订的《职业教育法》开始实施,规定了职业教育与普通教育具有同等重要地位。为贯彻落实《国家职业教育改革实施方案》,进一步完善职业教育国家教学标准体系,2021年12月9日教育部等九部门颁布的《“十四五”学前教育发展提升行动计划》,对学前教育的发展提出了新的要
学位