【摘 要】
:
随着时代的发展,人们对社会公共安全的需要也不断提高,越来越多的学者投入到相关领域的研究中。行人重识别作为一项人工智能技术,被广泛的运用到城市的安防系统中,其主要研究内容是在跨设备下的监控图像或者视频序列中检索出目标行人。现有的行人重识别方法大多集中在对一个模态的研究,即可见光模态,所用的行人图像均取自于工作在白天的可见光摄像头。事实上,这样的摄像头并不能在弱光或者黑暗的条件下捕捉到有效的行人信息。
论文部分内容阅读
随着时代的发展,人们对社会公共安全的需要也不断提高,越来越多的学者投入到相关领域的研究中。行人重识别作为一项人工智能技术,被广泛的运用到城市的安防系统中,其主要研究内容是在跨设备下的监控图像或者视频序列中检索出目标行人。现有的行人重识别方法大多集中在对一个模态的研究,即可见光模态,所用的行人图像均取自于工作在白天的可见光摄像头。事实上,这样的摄像头并不能在弱光或者黑暗的条件下捕捉到有效的行人信息。城市的监控系统通常使用红外摄像头或者使用具备红外模式的摄像头在夜晚环境中进行拍摄,并得到红外模态的行人图像。因此,近几年兴起的跨模态行人重识别则是为了实现可见光行人图像和外红行人图像之间的互相检索。然而,跨模态行人重识别比单模态行人重识别面临着更为巨大的挑战。一方面,不同的行人姿态、背景以及摄像头视角等因素造成了模态内行人图像的差异。另一方面,不同的摄像头拍摄模式也造成了行人图像间巨大的模态差异。针对以上提到的两个问题,本文分别从特征融合与度量学习的角度对跨模态行人重识别进行研究。因此,本文的主要贡献包括以下两个方面:(1)本文基于特征融合的思想,提出了一种基于两阶段特征融合的跨模态行人重识别方法,通过模态内和模态间这两个阶段的特征融合来增强行人特征的判别性,从而应对行人图像的模态内差异和模态间差异。具体来说,模态内特征融合方法将神经网络中从低层到高层不同尺度的特征信息进行融合,极大地丰富了行人特征,缓解了模态内行人图像的差异。模态间特征融合方法主要使用基于掩膜操作的图注意力网络来融合不同模态的特征信息,在损失函数的监督训练下,使得同一个类别下的图像特征更相似,不同类别的图像特征在特征空间中互相远离,利用样本空间中的结构信息有效地缓解了图像特征的模态间差异,从而进一步提高了特征判别性。最后,我们引入了深度监督训练方法和动态聚合训练策略,将模态内和模态间这两个阶段的特征融合方法整合到一个端到端的深度学习框架中,提高了特征融合的效率。(2)本文基于度量学习的思想,提出了一个针对于跨模态行人重识别的损失函数,身份-模态双中心损失。该损失函数可以同时限制特征向量到类别中心之间的距离以及可见光模态中心和红外模态中心之间的距离。特别地,当身份-模态双中心损失联合身份损失进行训练时,不仅可以优化类内和类间距离,缓解行人图像的模态内差异,还能有效地缩小模态之间的差异。同时,我们在训练过程中引入了增量式训练策略,该策略包含同一任务内的增量和不同任务间的增量两种方法。前者主要针对于身份-模态双中心损失的训练,后者主要用于联合表征学习和度量学习两个任务。通过增量式的方法向网络提供监督信息,平滑了身份-模态双中心损失的训练过程,缓解了表征学习和度量学习两个不同任务之间的矛盾。除此之外,我们提出了基于注意力机制的双流局部特征提取网络,有效地增强了局部特征的判别性,该网络不仅能够用在跨模态行人重识别中,还可以推广到与单模态行人重识别相关的任务中去。本文在两个公开的跨模态行人重识别数据集SYSU-MM01和Reg DB上进行了大量的实验,证明了上述方法的有效性。同时,将本文所提方法与目前主流的跨模态行人重识别方法进行了对比,取得了更优的行人重识别准确率。
其他文献
随着互联网行业的快速发展,人类的生产生活产生大量的复杂网络。链路预测的主要任务是通过已知的网络节点以及网络结构等信息,预测网络中尚未产生连边的节点对之间在未来产生链接的可能性。作为数据挖掘领域的一个重要分支,链路预测已成为各领域研究者关注的重点,广泛应用于生物实验、推荐系统、网络重构、在线社交等领域。以共同邻居(Common Neighbors,CN)为代表的传统链路预测算法仅根据节点的一阶邻居信
药物组合在治疗多种复杂疾病中发挥着重要作用,它能从多个治疗方向促进患者健康恢复。与单一药物治疗相比,药物组合治疗不仅能够提高治疗效果,而且可以降低单一药物剂量增加带来的副作用。然而,通过临床实验手段验证成千上万种药物组合的有效性,会消耗大量人力和物力资源。深度学习的迅速发展,为临床医疗数据的挖掘与运用提供了新手段。通过深度学习技术对临床医疗数据加以分析,筛选出潜在有效的治疗药物组合,可以大大减少临
目的 观察护理干预对Leep刀宫颈锥切术治疗宫颈疾病的影响及效果。方法 选取行Leep刀宫颈锥切术治疗的宫颈疾病患者40例,分为基础护理干预组和整体护理干预组各20例。对比两组手术一次成功情况、术后并发症、宫颈长度、疼痛程度、生活质量及护理满意度。结果 整体护理干预组手术一次成功率高于基础护理干预组(P<0.05),术后并发症发生率低于基础护理干预组(P<0.05),护理满意度高于基础护理干预组(
随着互联网技术的快速发展,社交网络作为重要的信息载体,极大程度改变了信息的传播方式,使每个人都能扮演信息的创造者、传播者和消费者,因此,对信息流行度的高效预测成为了研究热点之一。然而,由于内容形式的多样性、网络结构的复杂性以及影响因素的多元性使得预测任务面临众多挑战,如何建立高效的预测模型是亟待解决的问题。通过对相关文献资料的充分调研,本文深入研究并分析了信息流行度的诸多影响因素,运用深度学习技术
瑞幸咖啡在2017年以来发展的三年时间里,一直在吞噬着星巴克和蓝山咖啡等主导的咖啡饮品市场。通过对瑞幸咖啡的分析可以看出,瑞幸咖啡的价值链管理还存在着一些问题,这将会影响到其未来市场核心竞争力的发展。因此,文章利用环境分析和SWOT分析等手段,对瑞幸咖啡的核心竞争力进行了深入的分析,提出相应的策略。希望通过文章的研究,能够对目前市场环境下瑞幸咖啡的核心价值进行进一步的优化,并且为其他新兴行业的企业
随着社会经济持续发展和城市建设不断加快,城市公共交通在提高交通服务运营水平、改善城市居民出行体验上愈发重要。然而在城市公共交通日常运营中,部分地铁站点或公交站点在遭受极端天气后可能引发大范围交通阻塞,导致交通系统结构连通性严重下降。同时,城市公共交通系统存在不平衡发展现象,部分地铁站点或公交站点承载了城市公共交通系统的大部分运量。为提升城市公共交通网络抗毁程度,避免站点故障大幅降低出行效率,优化交
随着大数据智能领域的迅速发展,人类向着信息化社会不断前进和突破,现在已经进入到了现实世界和虚拟世界相结合的时代。如何综合分析不同领域带来的不同体量和维度的信息来提供正确的决策是当前领域发展必须面临的问题。在多类型信息源融合的实际应用过程中,一般都是通过传感器来获得相应的信息,传感器的信息收集是多传感器融合过程中至关重要的第一步,信息源的可靠性收集决定着最终的决策结果是否正确。现实情况中,由于恶劣天
基于2022年“高校考试招生改革引导学生德智体美劳全面发展研究”项目组所收集的“高考改革调查问卷”中40326份高中生问卷,结果显示:高中生对高考选科制度和选科结果基本满意,对高考选科需要多主体共同参与基本认可,认为高考选科利于专业选择与职业规划,部分高中生选科时出现心理焦虑,传统文理分科仍是所选人数最多的组合。同时也发现:高中生对高考选科制度和对未来发展的引导基本满意、对家长参与高考选科的认可度
癌症主要由体细胞基因突变加速积累导致细胞无限增殖引起,癌症研究的一个关键步骤是识别导致肿瘤从正常状态向恶性状态转变的驱动突变和驱动基因。此外,癌症驱动基因往往只在少数生物学通路中发生作用。因此,研究者们开始将关注点从识别驱动基因转移到识别驱动通路。识别驱动通路有助于揭示疾病发生和发展的自然规律,对癌症患者的精确治疗、新的药物靶点和诊断测试具有重要意义。研究表明,多条通路在相同的生命活动和致癌过程中
随着科技的发展和信息化设备的普及,现实世界中实体间联系的多维度属性愈发明显,如社交网络中存在不同的社交平台,分别表示用户不同的社交偏好,具有不同的社交属性,准确表征用户在不同社交平台下多维度的社交行为,对于社交网络的分析研究具有重要意义。由于多层网络独特的分层结构,使其能准确刻画实体间的多维度联系,因而已经逐渐成为建模、分析和研究多关系复杂系统的重要工具。在网络科学中,识别多层网络潜在的社团信息对