【摘 要】
:
显著性目标检测可分为图片显著性目标检测和视频显著性目标检测,传统的图像显著性目标检测使用RGB图作为输入,但单一RGB在光照不足和天气状况不好背景杂乱无章的情况下,无法有效地识别显著性目标,因此RGB图结合热度图(Thermal,T)的显著性目标检测成为该方向的研究热点。然而,以往的研究人员对于热度图和RGB图的差异性未充分考虑,对不同注意力之间关联理解不够深入,也未对不同层信息进行分类处理,导致
论文部分内容阅读
显著性目标检测可分为图片显著性目标检测和视频显著性目标检测,传统的图像显著性目标检测使用RGB图作为输入,但单一RGB在光照不足和天气状况不好背景杂乱无章的情况下,无法有效地识别显著性目标,因此RGB图结合热度图(Thermal,T)的显著性目标检测成为该方向的研究热点。然而,以往的研究人员对于热度图和RGB图的差异性未充分考虑,对不同注意力之间关联理解不够深入,也未对不同层信息进行分类处理,导致RGB-T图像显著性检测性能未达到理想效果。另一方面,RGB-T显著性目标检测基于静态图像,而随着视频数据的大爆发,视频显著性目标检测已逐渐成为当前社会的新需求。视频的显著性算法与图片显著性算法不同,不仅要考虑空间静态信息,还要考虑时域运动信息。然而,大多数算法处理空间特征不够有效且未能充分考虑时间的视频中运动线索,所以性能尚有可提升空间。针对以上问题,本文面向RGB-T图像与视频显著性目标检测中存在的问题,分别提出了一种解决方案。主要工作如下:1、RGB-T图像显著性目标检测提出了一种RGB-T多级注意力融合模型,该模型主要由两个模块构成:多级注意力模块和分类融合模块。多级注意力模块通过串联和并联通道注意力和空间注意力,得到一个自适应的多级注意力。分类融合模块根据不同层输出的特点,高层具有丰富的语义信息,低层具有纹理信息,分别使用金字塔平均池化和金字塔最大池化获取不同的特征,最后高层指导低层进行融合得到最终的显著性目标。模型对比采用F-measure、S-measure和MAE三个评价指标,并且在三个流行数据集VT5000、VT1000和VT821上,和七个先进的RGB-T显著性检测模型结果进行对比,结果证明,多级注意力模块和分类融合模块可以对不同层次特征进行有效提取和融合。2、视频显著性目标检测提出了一种多尺度注意力编码器-解码器Conv LSTM模型,该模型主要分为两个模块:空间模块和时间模块。在空间模块中,使用了一组并行扩张卷积,并对每个扩张卷积添加通道注意力。多尺度模拟了人类视网膜的特征,注意力是模仿人类的注意力机制。将多尺度信息与注意力信息相结合,构成金字塔多尺度的通道注意力。多尺度通道注意力可以获得更精确的显著性线索,为下一部分时间模块奠定坚实的基础。在时间模块中使用一组不同扩张率的编码器-解码器Conv LSTM,并使用密集连接和跳跃连接来结合不同尺度的信息。模型对比采用F-measure、S-measure和MAE三个评价指标,在Vi Sal、FBMS、MCL、UVSD四个流行视频显著性目标检测数据集上,和十四种最先进的算法进行比较,实验结果表明该模型可以有效加强时空特征的提取,从而提高检测精度。
其他文献
协同显著性检测是视觉显著性检测的一个重要分支,可以作为预处理来提高视觉任务处理效率与算法性能。协同显著性检测需要综合考虑每个图像的属性以及图像间的一致性和交互性,但是许多协同显著性检测方法只关注高层次的特征信息,而不考虑低层次的有用信息,未能充分利用全部的有效信息,这使得检测结果出现一定程度上的偏差。本文在现有研究的基础上设计两种基于深度学习的协同显著性检测方法,充分利用高层语义特征和低层边界特征
电机在人们的生产生活中应用广泛,电机故障会引起经济损失、人员受伤等问题。滚动轴承是构成电机设备的重要元件,滚动轴承故障是电机故障的主要原因之一,因此,电机轴承故障的智能实时诊断尤为重要。针对传统的轴承故障诊断方法存在模型尺寸大、检测时间长、抗噪性能不佳、不适用于实时诊断的问题,本文基于卷积神经网络和Jetson Nano的嵌入式系统研究轴承故障的实时诊断方法,从硬件设计和网络算法两个方面着手研究,
随着工业现代化的不断进步,智能制造快速崛起,工业机器人的应用越来越广泛。现如今,随着工业智能化的不断完善,在工业生产过程中大多采用机器人来完成,为了确保工业机器人在执行工作任务时的精确动作制导,需要随时对工业机器人进行高精度的检测与监控,其中最重要的部分就是对于工业机器人关节电机的转速检测与监控。光学非接触式测量在物体速度、加速度、位移等参数的测量场景下被广泛应用,主要具有精度高、对被测目标物体没
图像作为信息传递的重要媒介,有着重要的应用价值。然而现实生活中用于图像采集的硬件设备受制作工艺、传输损耗、噪声干扰、光照、气候等因素的影响,使得获取具有更多细节信息的高分辨率图像存在困难。因此,如何通过相应的技术手段把已有的低分辨率图像转换成为我们所希望得到的高分辨率图像成为了图像研究领域的热点问题。目前这项技术已经在人类行为识别、人脸检测、医学影像和军队国防等方面取得了重要应用。本文主要针对基于
数字经济产业园是推动数字经济发展的重要载体,而网络直播产业则对数字经济产业园的快速发展具有重要的价值和意义。本文简要阐述了网络直播的特点和发展现状,在此基础上,探讨了以网络直播产业集聚驱动数字经济产业园快速发展的内在逻辑和实现路径。
直播教学最早发源于广播技术的应用,而后随着互联网技术的不断发展和成熟,基于网络的直播教学得以普遍应用,并成为非正式学习以及学校教学中一种重要的教学方式。本文通过文献梳理法,系统地阐述了网络直播教学的内涵、发展历程、应用软件比较,并通过量化分析与质性分析相结合的方式重点论述当前网络直播教学的研究热点,最后对未来直播教学的发展作出展望。
本文主要运用理论和实践相结合的方法,通过纵向对中国教育电视台《教育新闻直播间》播出的60期节目进行相关案例分析,以期探寻融媒体语境下中国教育新闻主播的话语样态。
规模化的直播教学实践实现了高校“停课不停学”目标,为探索现代信息技术下教育教学改革与发展方式提供了难得契机。通过梳理高校规模化直播教学的时代特征,明晰直播教学实践之于传统教育在课堂教学、教学治理和社会服务教学等方面的创新价值,深刻辩析直播教学实践存在的现实困境。结合线下教育与“直播+”教学优势,探索新时代“直播+”线上线下混融教学范式、治理机制和研修环境的优化路径,以发挥直播教学补位作用、提高直播
机器人领域目前是当前科学研究的一个热门领域,对于软体类机器人由于它的多自由度、高适应性、安全方面有极高的保障性等特点使其在家政相关的服务、助残医疗、农业医疗等各个方向有了更多的应用,因此,自然而然的就有更多的目光将研究重心以及研究方向往软体机器人领域偏移。软体机械手由于其建模具有一定的难度,且相关研究并不完善,并不像硬体手一样有较为成熟的控制策略,因为缺乏相关理论,所以也没有实现专门适用于软体手的
噪声的危害有目共睹,中低频噪声由于穿透性强难以被有效吸收,有力控制噪声污染,既是提高人民生活品质的保障,也是保证特殊设备安全运转的技术需求和难题,复杂的应用环境也需要高承载性能,故研制高承载的吸声结构实乃众望所归。本文基于承载性能较好的球壳堆垛结构,借助串并行设计思想,对其进行声学设计和研究,以期赋予其中低频宽带吸声能力。首先,对球壳堆垛基本结构的非实体空间进行声学设计,提出了等容串并联型结构和差