【摘 要】
:
红外数据在一些恶劣环境下(低光照、雾霾等)可以清晰的反应目标的状态而不受环境影响,从而可以辅助可见光图像进行全天候、全场景鲁棒性目标跟踪任务,因此最近这些年出现了一个新的研究方向:可见光-红外(RGBT)目标跟踪。目前主流的算法都在致力于解决如何更好融合两个模态的特征,而忽视了目标特征的重要性总是会随着环境的变化而发生变化。因此使用静态参数的卷积核所提取的特征可能变得不可靠,从而会影响跟踪器的性能
论文部分内容阅读
红外数据在一些恶劣环境下(低光照、雾霾等)可以清晰的反应目标的状态而不受环境影响,从而可以辅助可见光图像进行全天候、全场景鲁棒性目标跟踪任务,因此最近这些年出现了一个新的研究方向:可见光-红外(RGBT)目标跟踪。目前主流的算法都在致力于解决如何更好融合两个模态的特征,而忽视了目标特征的重要性总是会随着环境的变化而发生变化。因此使用静态参数的卷积核所提取的特征可能变得不可靠,从而会影响跟踪器的性能。为了提高在这种问题下跟踪器的性能,本文开展了基于动态卷积的可见光-红外目标跟踪研究,主要研究成果包含以下两个方面:第一,给出了基于动态协同卷积的可见光-红外目标跟踪模型。对于RGBT目标跟踪任务而言,如何提取出丰富且具有判别力的特征是提高跟踪器性能的关键。现有的一些工作往往在同一层中使用多个卷积核来分别捕获目标的不同性质的特征,但是这样一方面会引入低质量特征,同时会使得训练步骤繁琐,另一方面无法根据目标的上下文来自适应的提取目标特征。因此,本文给出了多模态动态协同网络,通过综合考虑两个模态的全部信息来自适应的提高每个模态的表示能力。具体来说,本文设计了一个动态的协同卷积模块,包括一个多模态的权重路由网络和为每个模态准备的一系列的静态卷积核。本文利用几个静态卷积核来分别建模每个模态的不同表示,然后权重路由网络会根据多模态输入自适应融合静态卷积核参数,动态生成用于适应不同输入的核参数。此外,为了发挥出每个卷积核的最大作用,本文也给出了多核学习策略,使得每个卷积核学习到不同且丰富的特征。本工作在若干个权威公共数据集上进行了大量的实验,从而验证了该模型的有效性以及鲁棒性。第二,给出了面向复杂场景建模的动态网络模型。对于RGBT目标跟踪任务而言,目标在移动的过程中会遭遇大量的复杂场景,这些复杂场景阻碍着跟踪器性能的提高,导致被跟踪的目标发生漂移。针对该问题,本文在工作一的基础上给出了面向复杂场景建模的动态网络模型,将原模型中的通用静态卷积替换为场景特定卷积,用以提取目标在不同挑战场景下的特征。之后本文在每个模态使用挑战选择模块来将各个场景特定卷积进行参数空间上的融合。另外,由于深度学习是数据驱动的,而当前的跟踪数据集中并不包括对应场景下大量的数据,因此,本文对原始数据集进行了不同类型的数据增强,用以充分训练所有的场景特定卷积。本工作在当前若干个基准数据集上的实验结果表明本方法极大的提高了模型在各种环境下的鲁棒性,从而达到了领域领先的性能。
其他文献
近年来,中国经济面临国内外的挑战不断增多,稳增长、稳就业压力增大。制造业是国民经济的根基,是确保中国经济平稳发展的压舱石。为充分挖掘和释放国民经济增长潜力,就需要把制造业的高质量发展置于核心地位。这除了需要制造业企业自身增加内生发展动能外,也离不开国家政策和资金的重点支持。作为政府调控经济的主要政策工具,政府补贴和税收优惠对于制造业企业的创新发展具有重要影响。然而,学术界对于政府补贴和税收优惠的政
数字经济作为一种以数字技术为支撑的新型经济模式,开启了信息革命的序幕。其与传统产业相互融合正在引发新的产业变革,对传统产业的结构升级具有推动作用,已日益融入社会生产全过程。但正因如此,数字经济的体系也变的越来越庞大,数字经济的生产网络也越来越复杂。数字经济与制造业的融合在不同的行业存在着较大的差异,因此导致了其在影响制造业集聚方面存在显著的差异性,计量结果显示对不同制造业集聚的影响程度依次是资本密
数字经济作为一种新型经济形态,正推动着全社会多领域的“数字蝶变”。一方面,数字经济可以通过数字化、信息化的技术手段赋能城市发展,促进城市经济增长,催生出城市发展“百舸争流”的局面;另一方面,在区域协调发展的大背景下,数字经济的出现打破了地理空间限制,从空间层面影响了城市间的经济交流,但是由于现阶段不同城市数字经济发展水平具有差异性,不同城市从数字经济发展中获得的发展动力并不相同。因此,数字经济存在
随着城市化进程的加快推进,人口不断向城市聚集,城市空间也愈加拥挤,与此同时,城市发展过程中面临越来越多难以避免的风险和冲击,城市韧性遭受严峻挑战。2020年11月3日,打造“韧性城市”被中共中央首次写进了“十四五”规划和二0三五年远景目标的建议中。长三角地区有着独特的地理优势,经济发达且对外开放水平较高,在全国占据重要地位。因此,对长三角城市韧性进行测度并研究影响因素,对于帮助城市应对诸多不可预测
我国地方政府专项债务具有两大属性,一是实现财政逆周期调节经济增长的主要抓手,二是作为地方政府项目性投资的主要融资工具。自2015年新《预算法》放开地方政府发行债务的权力以来,地方政府专项债务的发行规模逐年上升。尤其在新冠疫情爆发后,我国相继推出一系列政策来扩大专项债务使用范围、支持专项债务的发行。新增专项债务规模由2015年0.1万亿增加到2020年3.75万亿,专项债务规模的不断扩大及由此伴生的
当前,面对着全球社会低碳环保约束以及国内经济高质量发展的需要,中国能源转型的挑战和难度空前,能源生产消费模式的创新发展亟需以数字技术应用为重要支撑。5G、大数据、物联网等新兴数字技术应用遍及我国社会生产生活,具备着节能降碳的显著优势,惠及了各个行业多个领域,因而大力发展数字经济是助力我国实现绿色低碳发展的关键路径。鉴于此,本文针对性地研究了数字经济对能源环境效率的影响,以期为我国优化能源消费结构和
我国经济发展水平在近年来得到大幅提升,城镇化建设水平快速发展,综合国力和国际竞争力持续提升,逐渐进入经济高速发展向经济高质量发展的转型发展新阶段。但我国未来的发展还面临着国民收入分配不均衡的问题,城镇居民和农村居民收入的差距依然在逐渐扩大,国民经济的健康发展以及国民收入的均衡分配,居民生活质量的提升,城乡收入差距都是亟需解决的问题。公平分配当前的城乡居民人均收入,切实缩小城乡居民收入差距始终是我国
随着“三农”问题、“乡村振兴”战略的提出以及城镇化、农业农村现代化的蓬勃发展,我国现已全面脱贫,乡村发展迈上新台阶,农业综合生产能力增强、农民收入多元化增长、乡村人居环境逐渐得到改善。但同时,乡村发展不平衡不充分的问题依然存在,过去乡村依靠消耗资源和牺牲环境发展经济的局面还未根本扭转,人与自然关系失衡,不仅制约了乡村可持续发展,也阻碍了我国绿色发展的脚步。财政分权作为我国经济制度的重要组成部分,对
科技创新是我国经济高质量发展的重要推动力,因此我国确立了提高自主创新能力、建设创新型国家的发展战略。而金融集聚是现代金融产业的基本组织形式,形成了一种金融资源、金融机构、金融人才等高度集聚的现象,且东中西部地区分布具有较大的差异。科技创新具备高风险高投入的特质,需要金融业的高度支持,所以本文通过探究我国金融集聚对科技创新的影响,尝试对促进金融集聚与科技创新发展提出政策建议。通过理论探究发现金融集聚
<正>科学和技术创新是当前应对世界知识经济和全球化发展的重要软件基础条件,国务院对此发布了《全民科学素质行动计划纲要实施方案》,明确要求应当全面提升中学数学、物理、化学和生物等相关学科的横向融合,鼓励普通高中积极开展以科学创新和技术实践为主题的跨学科探究活动。由此可知,积极开展跨学科教学活动,以此使科学和技术创新成为了当前教育教学工作的热点。本文结合初中科学学科特点,基于STEM理念构建起全新的项