【摘 要】
：
图像是社交媒体中主要的信息传递媒介,用户可以通过图像传达情绪。研究图像情感的自动分析方法在机器人情感交互、多媒体分析等任务中具有重要应用需求。然而情感是一种抽象且主观的语义信息,同时图像特征与图像情感之间存在复杂的非线性关系,图像情感分类仍是一项具有挑战性的任务。图像内蕴含的情感是图像全局特征的综合反映,且图像情感拥有极性特征,不同的细粒度情感会呈现出相同的情感极性,但现有的工作未能有效利用上述特
论文部分内容阅读
图像是社交媒体中主要的信息传递媒介,用户可以通过图像传达情绪。研究图像情感的自动分析方法在机器人情感交互、多媒体分析等任务中具有重要应用需求。然而情感是一种抽象且主观的语义信息,同时图像特征与图像情感之间存在复杂的非线性关系,图像情感分类仍是一项具有挑战性的任务。图像内蕴含的情感是图像全局特征的综合反映,且图像情感拥有极性特征,不同的细粒度情感会呈现出相同的情感极性,但现有的工作未能有效利用上述特征进行图像情感分析。为了能够更准确地分析图像内情感,本文首先研究了图像极性情感分类任务,并进一步联合图像的极性特征与全局上下文关联性进行图像细粒度情感分类,具体研究工作如下:（1）基于极性感知注意力的图像极性情感分类网络:心理学理论表明一幅图像内情感内容通常涉及多个子区域。同时,这些子区域也拥有各自的极性和强度。整个图像所传达的情感由积极情感区域和消极性情感区域的综合反映。基于该心理学先验知识,本文提出一种带有极性感知注意力的网络,以端到端的方式对图像情感进行分析。该网络由情感提取主干、极性感知注意力模块与融合分类模块组成。主干用于提取全局特征与局部特征。极性感知注意力模块检测图像内各极性区域同时预测对应区域的极性强度。同时,设计了一个复合损失函数,并结合弱监督方式与分布式标签平滑学习方法指导网络学习。本文在六个情感基准数据集上验证了本文网络的有效性,相比其他先进方法,该网络能够获得最优越的性能。（2）联合极性检测与Transformer的图像情感分类网络:图像内蕴含的情感是图像全局特征的综合反映,且图像情感拥有极性特征,不同的细粒度情感会呈现出相同的情感极性,但现有的工作未能有效利用上述特性进行图像情感分析。本文提出联合极性检测与Transformer的图像情感分类网络,将基于Transformer的细粒度情感分类与极性检测纳入同一网络中进行端到端学习,利用两个任务间的关联性进行图像情感分类。该网络由特征提取主干,空间自注意力模块与极性检测分支组成。主干用于提取局部上下文特征,空间自注意力模块学习各图像块之间的相关性,从而捕捉图像特征的非局部关联关系用于图像情感预测。极性检测分支检测当前图像的粗粒度情感,用于指导细粒度情感分类。在多个基准数据集上的实验表明,该网络性能优于当前主流方法,消融实验也验证了各模块的有效性。
其他文献
随着老龄化问题的日益严重,针对老人的看护问题已成为当下社会的研究热点之一。摔倒作为对老年群体健康威胁最大的因素之一,不仅会严重影响老年人的身心健康,还会给公共卫生事业带来巨大压力。依靠人力对老人进行看护效果虽好,但低效且占用大量医护资源。现有的基于视觉的摔倒检测系统普遍采用固定摄像头,此类系统无法在其视觉盲区对目标进行有效监测。针对以上问题,本文对行人跟踪算法与行人失稳姿态检测算法展开研究。首先,
大数据时代,图像、视频等视觉数据呈现指数级增长,传统的计算机视觉理论与方法面临着前所未有、日益严峻的挑战。而显著性检测作为智能视频处理中一项关键支撑技术,可有效定位图像、视频序列中感兴趣的目标区域,以便于从大量冗余信息中提取对当前任务有益的信息,为智能图像、视频处理中目标识别、场景理解、行为分析等高层任务提供可靠数据,具有重要的军事、商业和社会价值,已被广泛应用于智能安防、航空航天、人机交互、工农
随着自动控制理论的发展,固定翼无人机的应用也愈发广泛。速度和姿态控制策略是固定翼控制研究的基本问题。固定翼无人机是典型的具有非完整线性约束运动体,其具有强耦合、非线性等特征。此外,风速等外界扰动对固定翼无人机飞行影响也较大,对于不同形态的固定翼无人机,其飞行姿态与速度控制效果也不尽相同。因此,相较于其他构型的无人机,固定翼无人机的控制器设计要求更为复杂,控制难度也更大。奇异摄动法本质上是一种时标分
随着温室大棚数量的增长以及农村劳动力数量的下降,可以在恶劣环境中自主作业的温室植保机器人成为当前研究热点。因为在温室内无法使用GNSS进行定位导航,所以实现温室内植保机器人的建图导航具有重要意义。本文以实现温室内植保机器人的自主运行为目标,设计基于视觉、激光融合的建图导航系统,主要工作内容如下:首先根据温室机器人的工作场景,分析机器人建图导航系统的需求,设计多传感器融合的建图导航系统方案。建立机器
烷类气体同属于碳氢类气体,具有许多相似的物理和化学性质,并且烷类通常混合在一起,现有的检测技术在遇到混合烷类时难以辨别其主要成分。甲烷作为最常见的烷类气体,广泛存在于日常生活和工业生产之中,并且属于危险性气体,对甲烷的辨别十分必要且重要。甲烷辨别对于保障人们的生产生活安全、保护环境等都有重要的意义。为实现甲烷气体的辨别功能,本论文首先通过对比分析,选择当下前沿的NDIR检测技术,设计采用四光源单传
随着社会的不断发展,我国的公路里程井喷式增加,汽车保有量也急剧增加,因台风、暴雨、冰雹、寒潮、雾霾等恶劣天气引发的交通事故频发,给国民经济造成了不可估量的损失。目前,交通安全已经成为社会发展的热点问题。为了做到对交通运输环境实时监测和突发事件及时预警,建立基于物联网和大数据的道路交通气象灾害监测预警系统迫在眉睫。针对上述情况,通过对现有的国内外技术进行研究分析,本文设计了一种便携式道路交通气象信息
随着城市化的快速发展,消防安全隐患与日俱增,消防安全管理和灭火救援面临新课题。由于城市建筑建设周期较长,大部分消防管道埋地敷设,导致阀门、管道腐蚀严重,漏水点较多。部分单位消防供水达不到设计要求,严重时会导致无水可用,一旦发生火灾会造成严重后果。因此消防供水监测系统就显得尤为重要。针对上述问题,本文结合物联网及其关联技术,设计了一种消防供水智慧监测系统。系统包括智能终端、管理平台、云服务器和手机客
视频目标分割是一种对视频中的前景目标和背景区域进行分离,实现像素级分类的任务,在视频编码、姿态分析、自动驾驶以及短视频娱乐等方面具有广泛的应用。根据在测试阶段视频所给标注形式的不同,该任务可以分为无监督、半监督、弱监督和交互式四大类别。随着深度学习技术地不断发展,视频目标分割取得了很大的进步,但现有的许多算法都是以牺牲分割速度为代价来提升分割精度,并且在复杂场景下分割的效果往往比较差。本文对弱监督
三维人体姿态估计的目标是在三维空间中预测人体关键点的位置。由于其具有广泛的应用前景,如:动作识别、增强现实和训练机器人等,因此一直是计算机视觉领域的研究热点问题。特别是近年来随着深度学习的不断发展,提出了诸多不错的三维人体姿态估计算法,但是依然存在很多问题有待解决。比如在单目3D姿态估计任务中,四肢关节（即腕、踝等）的自由度大于其他关节（即髋、胸等）。从而使得估计误差会沿着人体部位的生理结构累积,
在现代复杂工业过程中,随机不确定性尤其是非高斯不确定性十分常见,给系统造成的影响也是无法避免的。在以往的研究中,大多假设随机变量服从高斯分布,但在实际的随机系统中,系统输出不一定服从高斯分布,所以对于非高斯系统,原有的采用均值和方差的方法已经不能够完全描述系统的特性,而SDC理论的研究对象恰好是非高斯随机系统。本文以电力系统为背景,在电力系统中,由于太阳能和风能发电的间歇性、随机性和波动性显著增加