【摘 要】
:
目标跟踪作为计算机视觉中的一个热点问题,广泛应用于导弹定位、视频监控和无人机侦察等众多领域。近些年来,尽管基于孪生网络的目标跟踪算法蓬勃发展,但是在速度和精度上仍然受到一些复杂场景的限制,以至于无法得到有效的实际应用。其主要问题在于孪生网络算法的特征提取框架太浅以及无法在线学习,导致模型的判别性较弱。为解决上述问题,本文主要研究基于孪生网络的目标跟踪算法,主要贡献如下两点。首先,为了解决全卷积孪生
论文部分内容阅读
目标跟踪作为计算机视觉中的一个热点问题,广泛应用于导弹定位、视频监控和无人机侦察等众多领域。近些年来,尽管基于孪生网络的目标跟踪算法蓬勃发展,但是在速度和精度上仍然受到一些复杂场景的限制,以至于无法得到有效的实际应用。其主要问题在于孪生网络算法的特征提取框架太浅以及无法在线学习,导致模型的判别性较弱。为解决上述问题,本文主要研究基于孪生网络的目标跟踪算法,主要贡献如下两点。首先,为了解决全卷积孪生目标跟踪网络出现相似语义信息干扰物,使得跟踪目标发生漂移,导致跟踪失败的问题。本文提出一种基于多层特征增强的实时视觉跟踪网络,来分别增强高层和浅层的特征表示能力,从而提升跟踪器的鲁棒性。首先,对于浅层特征利用了一个轻量且有效的特征融合策略,通过一种数据增强技术来模拟在复杂场景中的一些变化,例如遮挡、相似物干扰、快速运动等变化来增强浅层特征的纹理特性。其次,对于高层特征提出了一个像素感知的全局上下文注意力机制模块,来提高目标的长时定位能力。最后,在三个具有挑战性的跟踪标准库OTB2015、GOT-10k和VOT2018上进行大量实验,实验结果表明所提算法在OTB2015和GOT-10k上的成功率指标比基准算法分别高出6.3个百分点和4.1个百分点,且跟踪速度达45帧/秒。在2018年视觉目标跟踪库实时赛道挑战上,超过2018年的冠军-高性能的候选区域孪生视觉跟踪器,验证了所提算法的有效性。其次,为了解决全卷积离线训练孪生跟踪网络出现目标剧烈形变以及背景混乱使得跟踪器的稳定性不足,从而导致跟踪精度下降的问题,本文提出一种基于在线学习的图注意力机制孪生网络目标跟踪算法。首先,本文提出一个在线学习的子网络,通过模板更新策略和判别式分类器来学习特定目标的特征,从而提升跟踪器的性能。其次,本文提出一个图注意力机制来建立起目标和搜索区域之间局部拓扑对应关系,来处理全局匹配所导致的目标部分层级间的信息缺失问题。通过实验表明,所提方法在OTB2015和VOT2018跟踪标准库上都表现出优异性能,分别超越基线8.8个百分点和6.7个百分点,且以50帧/秒的速度达到实时跟踪。在OTB2015目标跟踪库上,本文所提算法在性能上超越同类型图卷积孪生目标跟踪器2.2个百分点。
其他文献
基于可穿戴设备的人体活动识别是一个活跃而又充满挑战的研究领域,已经在医疗健康、智能监控和安全检测等诸多应用中进行了探索。随着物联网的发展和计算能力的提高,在智能设备中嵌入了各种传感器用来收集用户的生理状态。根据用户提供的运动数据信息,使计算机体系协助用户完成一些特定的工作任务。现有的一些研究方案依赖监督学习的方法,需要大量的标签化训练数据,然而精确地标注活动的开始和结束位置是一项繁重的工作。值得注
图像融合是将多个图像传感器中获得的有效信息提取并融合,从而得到信息更丰富的完整图像。多聚焦图像融合是图像融合领域的一个重要分支,由于光学传感器的景深有限,很难获得所有景物同时聚焦的图像,多聚焦图像融合可以将多幅图像进行融合,得到所有场景都清晰的图像。本文以非下采样剪切波变换(Non-Subsampled Shearlet Transform,NSST)为基础对多聚焦图像融合算法进行研究,主要研究工
视觉目标跟踪算法是在给定第一帧目标的情况下,要求跟踪算法在后序帧中能克服光照、形变等因素从而持续地跟踪目标。随着深度学习技术被应用于目标跟踪领域,目标跟踪算法得到了长足的发展,但是在实际情况下跟踪算法仍然在诸多因素的影响下而鲁棒性较低。为此本文提出基于网络调制的目标跟踪算法,主要研究内容如下。(1)针对常见的匹配思路下未能使用高阶信息对物体的表观进行鲁棒性建模,而使得目标在跟踪过程中出现漂移,提出
近年来现代医学成像设备随着科技的进步得到了迅猛的发展。不同的医学成像设备能够产生不同模态的医学图像,而不同模态的医学图像能够反映出人体不同组织结构的具体信息,通过对不同的多模态图像进行信息集成,医生可以在同一张图像上观察到更多的有用信息,从而能够更好地进行疾病的检测和诊断,因此,医学图像配准与融合技术应运而生。本文对医学图像配准和融合技术进行算法研究,主要研究内容如下:(1)针对现有医学图像配准算
自然界中有许多天气现象,包括但不限于雨、雪、露、霜、冰雹等。随着科技的发展,人类出于各种各样的需要,对这些自然天气现象的观测需求也在加大。天气现象观测的终极目标一般是全天候、全气象、自动化、精确化观测,其中对露水观测而言,自动化精确观测更是成为研究的重点。本文采用机器视觉,对凝露天气现象进行自动化识别。研究了露水的形状特征在露水识别中的可能性,设计了采集露水数据的观测系统,分析了观测图像不同的预处
节理面的黏结面积对危岩体的稳定性起决定作用,同时也影响岩石的动力响应。分析节理面黏结面积与节理面刚度之间的关系,可以建立危岩体和基岩的振动幅值之比与节理面黏结面积之间的关系;再结合极限平衡理论,可以建立基于振幅比指标的危岩体稳定性计算方法。提出了共振黏结长度的概念:当岩体节理面的黏结长度达到共振黏结长度时,危岩体对基岩振动响应最大;而在共振黏结长度两侧,岩体的振幅比会随着黏结长度的改变产生相反的变
海洋蕴含各种资源,但由于水体介质对光波的吸收和散射特性,使得水下能见度低,对水下资源的勘测工作难度极大。传统的可见光成像探测技术在水下成像领域中的应用较为广泛,但传统的光电探测技术获取到的水下图像退化严重、模糊不清,图像包含的信息较少,早已不能满足研究学者们的需求。获取到对比度高、分辨率高的水下图像已经成为该领域亟需解决的问题。与传统的可见光成像相比,偏振成像能减少杂散光、散射光的影响,可在一定程
物联网催生了大量具有严格延迟要求的应用,例如车联网,智能农业,医疗监测系统等。这些应用对信息的时效性提出了很高的要求。如何度量信息的时效性成为了目前的热门研究话题。信息年龄(AoI)地提出弥补了延时和吞吐量在度量信息时效性上的不足,并在排队模型,排队策略以及多源多径等角度进行了研究。对于在某些重要时刻,则需要通过决策时刻年龄(AuD)来表征决策时刻信息的时效性。本文通过模型构建、模型优化、数值分析
作物株高的测量是农作物自动观测中的重要环节,它能直接反映作物的生长情况。本文将图像处理和FPGA硬件架构结合起来实现自动的实时作物株高测量系统,并将其广泛应用于农作物或景观植物的自动观测中,通过测量的株高信息反馈植物生长态势,指导进行人工干预的时机。本系统通过摄像头采集标尺图像,通过识别未被遮挡的标尺实现作物株高测量。本文首先研究了标尺图像识别及株高测量的具体算法并对其进行仿真验证;然后设计实现了
乳腺癌具有极高的发病率和死亡率,是一种对女性健康具有重大威胁的恶性肿瘤。在患者确诊为乳腺癌后,如何快速准确的针对不同的患者制定合适的治疗方案至关重要。临床上新辅助化疗正逐渐成为乳腺癌的主要治疗方式,且治疗后达到病理完全缓解的病人五年生存率很高。由于不同患者在新辅助化疗后治疗效果各异,化疗无效的患者极可能错过最佳治疗时机。因此急需一种无创式的评估和预测方法,对患者的治疗效果进行预测,辅助医生选择合适